BLOG + NEWS

HOME BLOG
由類型電影提供脈絡,教導電腦更理解人類的情緒
BLOG・Emotion 情緒
SHARE
由類型電影提供脈絡,教導電腦更理解人類的情緒
由類型電影提供脈絡,教導電腦更理解人類的情緒
15
SEP
2022
90

由類型電影提供脈絡,教導電腦更理解人類的情緒

過去兩年,BIIC Lab幾位研究生花了許多時間一起看電影,他們鎖定了十部熱銷全球的「親情」和「愛情」類型片,辨析人們在親密關係之中是如何表現情緒,建立細緻的情緒資料庫,讓電腦在判讀人類情緒時,同時考慮情緒生成的情境、脈絡。

 

研究成果獲選今年度ACII會議論文,受到國際間情感運算領域學者肯定。

 

什麼是「情緒辨識」技術?

 

情緒辨識,就是要讓機器能夠讀懂我們的心。為了幫助機器培養讀心能力,研究者往往會先準備富含情緒表現的資料,如聲音、表情和文字等,將情緒分成正向(快樂、喜悅)和負向(哀傷、憤怒),接著標示他的強度,是輕微的抑或是激烈的。最後將這些標記完成的資料交給電腦吸收。

 

理解情緒的來龍去脈,才能正確辨識情緒

 

然而,人類的情緒非常複雜,僅僅將情緒標上類別和強度,或許太過簡化。同樣的笑聲、同樣的哭聲,在不同的情境下可能會產生完全不同的意義!

 

舉例來說,某天你心情低落回到家,家人對你囉唆一番,你相當不耐地大聲吼了一句:「好煩,不要催我!」即便你語氣高昂,但這可能也只是家人日常小摩擦,並不是什麼激烈的情緒表現。隔天,你仍然帶著低落心情去上班,你的老闆對你囉唆了一番,你輕聲細語回了一句:「好煩,不要催我!」而這句話卻可能是下屬對上司非常激烈的挑釁。

如果不將情境納入考慮,電腦會誤以為前者是嚴重的衝突,而後者只是小摩擦。所以,除了使用情緒標記,還需要區隔出情緒產生的情境,才能讓電腦正確判讀。

 

類型電影提供了大量情緒的「脈絡」

 

為了讓電腦在辨識人類情緒時考量情境,研究者就必須在標記情緒表現之前,框定這個情緒究竟在什麼情境下產生,比如:家庭、職場、情侶等。

 

現實生活中所能夠觸及的情境有限,研究者並不容易蒐集到大量對情侶互道甜言蜜語的聲音,又或是大量喪失親人痛哭的聲音,這些情緒表現過於私密。此時,從「類型電影」就成為絕佳的資料來源!搜集電影中的情緒表現是相對容易的研究方法。

 

類型電影,舉凡驚悚片、愛情片、警匪片、親情片和災難片等等,往往已經擬定在特定情境傳達特定情緒。舉例而言,如果想要研究親密伴侶之間的情緒表現方式,就可以選擇若干部愛情片,將其中的情緒表現做標記,建立資料庫。

 

從暢銷電影,找尋引人共感的情緒表現

 

過去兩年,BIIC Lab幾位研究生便執行了這樣的研究,挑選若干部「親情」和「愛情」的類型片,這兩種類型片通常蘊含豐富的情緒表現。循著劇情發展,分析 1029 個電影片段,瞭解情緒生成的脈絡後,為劇中人物的情緒表現做標記。

 

這些標記包含:劇中角色之間的關係、關係進展好壞、電影片段本身傳達的情緒、觀眾被誘發的情緒、觀眾被感動程度。

 

並不是每部電影的情緒表現都貼近現實,演員演技至關重要,又或是電影製作技巧也有長足影響。所以取材過程特別挑選賣座好且演員評價高的電影,確保這些電影中的情緒表現能夠感動大眾,甚至跨越地域,引發普世共感。

 

研究中詳細說明資料庫收集的流程與實驗設定,並分析電影角色的情緒與觀眾情緒的不一致之處。研究成果在於:在考量情緒生成的脈絡的基礎上為情緒表現標記,進而建立資料庫。並且這是一個多模態資料庫融匯了影像、聲音、文字等情緒表現,更細緻掌握情緒的狀態。

 

本文內容參考: 清華電機 BIIC LAB 研究論文Po-Chien Hsu, Jeng-Lin Li, Chi-Chun Lee, “Romantic and Family Movie Database:Towards Understanding Human Emotion and Relationship via Genre-Dependent Movies”

SHARE
Article Tags
Privacy 隱私 Federated Learning 聯合式學習 ASR 語音辨識 Emotion Recognition 情緒辨識 Psychology 心理學 Healthcare 醫療 Algorithm 演算法 Edge Computing 終端運算 Human Behavior 人類行為 Multimedia 多媒體 NLP 自然語言處理 Signal Processing 訊號處理