過去兩年，BIIC Lab幾位研究生花了許多時間一起看電影，他們鎖定了十部熱銷全球的「親情」和「愛情」類型片，辨析人們在親密關係之中是如何表現情緒，建立細緻的情緒資料庫，讓電腦在判讀人類情緒時，同時考慮情緒生成的情境、脈絡。

研究成果獲選今年度ACII會議論文，受到國際間情感運算領域學者肯定。

什麼是「情緒辨識」技術？

情緒辨識，就是要讓機器能夠讀懂我們的心。為了幫助機器培養讀心能力，研究者往往會先準備富含情緒表現的資料，如聲音、表情和文字等，將情緒分成正向（快樂、喜悅）和負向（哀傷、憤怒），接著標示他的強度，是輕微的抑或是激烈的。最後將這些標記完成的資料交給電腦吸收。

理解情緒的來龍去脈，才能正確辨識情緒

然而，人類的情緒非常複雜，僅僅將情緒標上類別和強度，或許太過簡化。同樣的笑聲、同樣的哭聲，在不同的情境下可能會產生完全不同的意義！

舉例來說，某天你心情低落回到家，家人對你囉唆一番，你相當不耐地大聲吼了一句：「好煩，不要催我！」即便你語氣高昂，但這可能也只是家人日常小摩擦，並不是什麼激烈的情緒表現。隔天，你仍然帶著低落心情去上班，你的老闆對你囉唆了一番，你輕聲細語回了一句：「好煩，不要催我！」而這句話卻可能是下屬對上司非常激烈的挑釁。

如果不將情境納入考慮，電腦會誤以為前者是嚴重的衝突，而後者只是小摩擦。所以，除了使用情緒標記，還需要區隔出情緒產生的情境，才能讓電腦正確判讀。

類型電影提供了大量情緒的「脈絡」

為了讓電腦在辨識人類情緒時考量情境，研究者就必須在標記情緒表現之前，框定這個情緒究竟在什麼情境下產生，比如：家庭、職場、情侶等。

現實生活中所能夠觸及的情境有限，研究者並不容易蒐集到大量對情侶互道甜言蜜語的聲音，又或是大量喪失親人痛哭的聲音，這些情緒表現過於私密。此時，從「類型電影」就成為絕佳的資料來源！搜集電影中的情緒表現是相對容易的研究方法。

類型電影，舉凡驚悚片、愛情片、警匪片、親情片和災難片等等，往往已經擬定在特定情境傳達特定情緒。舉例而言，如果想要研究親密伴侶之間的情緒表現方式，就可以選擇若干部愛情片，將其中的情緒表現做標記，建立資料庫。

從暢銷電影，找尋引人共感的情緒表現

過去兩年，BIIC Lab幾位研究生便執行了這樣的研究，挑選若干部「親情」和「愛情」的類型片，這兩種類型片通常蘊含豐富的情緒表現。循著劇情發展，分析 1029 個電影片段，瞭解情緒生成的脈絡後，為劇中人物的情緒表現做標記。

這些標記包含：劇中角色之間的關係、關係進展好壞、電影片段本身傳達的情緒、觀眾被誘發的情緒、觀眾被感動程度。

並不是每部電影的情緒表現都貼近現實，演員演技至關重要，又或是電影製作技巧也有長足影響。所以取材過程特別挑選賣座好且演員評價高的電影，確保這些電影中的情緒表現能夠感動大眾，甚至跨越地域，引發普世共感。

研究中詳細說明資料庫收集的流程與實驗設定，並分析電影角色的情緒與觀眾情緒的不一致之處。研究成果在於：在考量情緒生成的脈絡的基礎上為情緒表現標記，進而建立資料庫。並且這是一個多模態資料庫融匯了影像、聲音、文字等情緒表現，更細緻掌握情緒的狀態。

本文內容參考： 清華電機 BIIC LAB 研究論文Po-Chien Hsu, Jeng-Lin Li, Chi-Chun Lee, “Romantic and Family Movie Database：Towards Understanding Human Emotion and Relationship via Genre-Dependent Movies”