BLOG + NEWS

HOME BLOG
由類型電影提供脈絡,教導電腦更理解人類的情緒
BLOG・Emotion 情緒
SHARE
由類型電影提供脈絡,教導電腦更理解人類的情緒
由類型電影提供脈絡,教導電腦更理解人類的情緒
15
SEP
2022
625

 

過去兩年,BIIC Lab幾位研究生花了許多時間一起看電影,他們鎖定了十部熱銷全球的「親情」和「愛情」類型片,辨析人們在親密關係之中是如何表現情緒,建立細緻的情緒資料庫,讓電腦在判讀人類情緒時,同時考慮情緒生成的情境、脈絡。

 

研究成果獲選今年度ACII會議論文,受到國際間情感運算領域學者肯定。

 

什麼是「情緒辨識」技術?

 

情緒辨識,就是要讓機器能夠讀懂我們的心。為了幫助機器培養讀心能力,研究者往往會先準備富含情緒表現的資料,如聲音、表情和文字等,將情緒分成正向(快樂、喜悅)和負向(哀傷、憤怒),接著標示他的強度,是輕微的抑或是激烈的。最後將這些標記完成的資料交給電腦吸收。

 

理解情緒的來龍去脈,才能正確辨識情緒

 

然而,人類的情緒非常複雜,僅僅將情緒標上類別和強度,或許太過簡化。同樣的笑聲、同樣的哭聲,在不同的情境下可能會產生完全不同的意義!

 

舉例來說,某天你心情低落回到家,家人對你囉唆一番,你相當不耐地大聲吼了一句:「好煩,不要催我!」即便你語氣高昂,但這可能也只是家人日常小摩擦,並不是什麼激烈的情緒表現。隔天,你仍然帶著低落心情去上班,你的老闆對你囉唆了一番,你輕聲細語回了一句:「好煩,不要催我!」而這句話卻可能是下屬對上司非常激烈的挑釁。

如果不將情境納入考慮,電腦會誤以為前者是嚴重的衝突,而後者只是小摩擦。所以,除了使用情緒標記,還需要區隔出情緒產生的情境,才能讓電腦正確判讀。

 

類型電影提供了大量情緒的「脈絡」

 

為了讓電腦在辨識人類情緒時考量情境,研究者就必須在標記情緒表現之前,框定這個情緒究竟在什麼情境下產生,比如:家庭、職場、情侶等。

 

現實生活中所能夠觸及的情境有限,研究者並不容易蒐集到大量對情侶互道甜言蜜語的聲音,又或是大量喪失親人痛哭的聲音,這些情緒表現過於私密。此時,從「類型電影」就成為絕佳的資料來源!搜集電影中的情緒表現是相對容易的研究方法。

 

類型電影,舉凡驚悚片、愛情片、警匪片、親情片和災難片等等,往往已經擬定在特定情境傳達特定情緒。舉例而言,如果想要研究親密伴侶之間的情緒表現方式,就可以選擇若干部愛情片,將其中的情緒表現做標記,建立資料庫。

 

從暢銷電影,找尋引人共感的情緒表現

 

過去兩年,BIIC Lab幾位研究生便執行了這樣的研究,挑選若干部「親情」和「愛情」的類型片,這兩種類型片通常蘊含豐富的情緒表現。循著劇情發展,分析 1029 個電影片段,瞭解情緒生成的脈絡後,為劇中人物的情緒表現做標記。

 

這些標記包含:劇中角色之間的關係、關係進展好壞、電影片段本身傳達的情緒、觀眾被誘發的情緒、觀眾被感動程度。

 

並不是每部電影的情緒表現都貼近現實,演員演技至關重要,又或是電影製作技巧也有長足影響。所以取材過程特別挑選賣座好且演員評價高的電影,確保這些電影中的情緒表現能夠感動大眾,甚至跨越地域,引發普世共感。

 

研究中詳細說明資料庫收集的流程與實驗設定,並分析電影角色的情緒與觀眾情緒的不一致之處。研究成果在於:在考量情緒生成的脈絡的基礎上為情緒表現標記,進而建立資料庫。並且這是一個多模態資料庫融匯了影像、聲音、文字等情緒表現,更細緻掌握情緒的狀態。

 

本文內容參考: 清華電機 BIIC LAB 研究論文Po-Chien Hsu, Jeng-Lin Li, Chi-Chun Lee, “Romantic and Family Movie Database:Towards Understanding Human Emotion and Relationship via Genre-Dependent Movies”

SHARE