BLOG + NEWS

HOME BLOG
清華電機 BIIC lab 打造第一台愛文芒果影像辨識選果機
BLOG・Mango 芒果
SHARE
清華電機 BIIC lab 打造第一台愛文芒果影像辨識選果機
清華電機 BIIC lab 打造第一台愛文芒果影像辨識選果機
18
JUL
2023
1007

2023 年 4 月,清華大學電機系的實驗室裡,幾位貨運大哥小心翼翼把一台愛文芒果選果機搬上貨車,一路從新竹載運往屏東枋山的建賢果菜運銷合作社。趕在產季之初,實測這台選果機效果,順利的話,這將成為第一台導入影像辨識技術的愛文芒果選果機!

►屏東枋山鄉愛文芒果是台灣的國寶及水果,未來要解決缺工問題,更要打造國際品牌知名度。
 


► BIIC lab 研發的愛文芒果影像辨識選果機,從四個角度拍攝輸送帶上芒果的外觀,精確分類芒果。

 

 

 AI 影像辨識,推動愛文芒果「選果」自動化 

屏東枋山在國境南緣,陽光常照,是培植愛文芒果的寶地,年年外銷創造極高產值。  
 

愛文芒果送到消費者手上前,有個重要環節:選果。也就是按優劣分類——好果賣高價,次等果便宜賣賣,蟲害侵襲則直接淘汰。若分類不仔細,下游收購商就有殺價空間;若是出口到國外,一批貨中部分芒果品質不符要求而被剔除,運費就會白白虧損,甚至留下不好的觀感。所以選果相當關鍵!  
 

目前的愛文芒果選果方式,其實就是人工 一顆一顆看外觀,容易失準。這樣國寶級的水果絕對值得更科技、高效、精準的選果流程!  



►愛文芒果的選果、分類、清潔到包裝,都相當仰賴有經驗的資深工作人員。
 

 

從零開始,打造第一台愛文芒果影像辨識選果機  

 

2018,台灣瓦克公司余立元老闆與清華電機系李祈均教授聚會,余老闆長年經營台灣水果外銷,李教授則在清華帶領 BIIC lab 做人工智慧研究。聚會中余老闆聊起了他的工作,感嘆台灣愛文芒果品質領先全球,但選果過程自動化卻大不如其他國家。  
 

早在十餘年前,歐美日韓等地就已經倒入自動化選果,尤其用在櫻桃、蘋果等溫帶水果。國外作法雖可參考,卻難以移植,因為上述技術領先地區皆位處溫帶;產於熱帶的芒果,尚無人為其研發選果機。  

 

「既然沒有人做,那我們就自己來!」  

李祈均教授馬上想到影像辨識技術或許能取代人工選果。首先要蒐集大量愛文芒果外觀照片,一張張標記這是好果 / 壞果,把農民的經驗轉化為數據資料,進一步設計演算法,及硬體選果設備。如此一來,就能創造第一台專屬愛文芒果的影像辨識選果機,兩人都對這個聚會閒聊而來的計畫躍躍欲試!  
 

不久後,余老闆就帶李教授南下屏東枋山的建賢果菜合作社,認識整個守成產銷流程。這裡的水果主要是銷往日本和韓國,多年來,台灣精緻高價水果已在日韓消費者心中打下穩固的品牌印象。  

建賢果菜合作社得知這個計畫後,給予這個計畫極大的支持,協助為數萬顆芒果拍照建立資料庫。  
 


►為了設計良好的 AI 模型,我們收集了數萬張芒果的照片,為芒果建立數據資料庫。

 

科技人,成為讓家鄉變更好的人 

李教授邀集了幾位實驗室成員參與這個計畫,包含博士班的蔡福昇、碩士班的洪彗庭和陳俊宇,和助理林子晴。  


他們不只在實驗室裡進做研發,還在 2019 年參加了聯發科「智在家鄉」競賽,及 2020 年協助教育部辦「AI cup」競賽,把階段性成果分享給更多人。聯發科的智在家鄉,鼓勵以數位工具解決在地問題,BIIC lab 一路進到決選,在數千人次的展覽會場上展示成果。而在教育部舉的「AI cup」競賽,BIIC lab 協助教育部出芒果影像辨識競賽題目,參賽同學解題,吸引數十支隊伍參加。  
 


►聯發科智在家鄉計畫,鼓勵用科技創意改善家鄉問題。

打造硬體是最後一哩路

根據蔡福昇博士的說法,設計演算法相對容易,最困難的其實是打造出一台機器,有太多細節要考慮。歷時三年,清華電機 BIIC lab 終於初步完成了選果機,內部有充分的照明設備,與 4 顆攝影鏡頭,全方位捕捉每顆芒果的外觀,並在短時間內判讀出它的等級,離開機器後芒果依其等級掉入不同的籃子。  
 

2023 年 4 月選果機送到建賢果菜合作社測試,實驗室與果菜運銷合作社畢竟是全然不同的環境,有些小細節與先前預想有所落差,有待微調。但整體運作仍是相當流暢!不久將來,我們就可以看到愛文芒果的產銷因為科技導入而更上層樓,成為台灣熱帶水果產銷智慧化的典範。  

SHARE
Article Tags
Privacy 隱私 Federated Learning 聯合式學習 ASR 語音辨識 Emotion Recognition 情緒辨識 Psychology 心理學 Healthcare 醫療 Algorithm 演算法 Edge Computing 終端運算 Human Behavior 人類行為 Multimedia 多媒體 NLP 自然語言處理 Signal Processing 訊號處理