工研院資通所  高志忠 宋美盈 蘇奕宇 吳佳樺 彭子芸 鄭名宏 蕭裕憲

近年來，智慧城市（Smart City）的理念成為世界各國城市治理的趨勢，亦即利用各種資訊科技或創新意念，整合都市的組成系統和服務，以提昇資源運用的效率，優化都市管理和服務，進而改善市民生活品質[1]。在技術的日新月異下，為達到更有效的監控效益，透過人臉識別系統的應用，能得到更豐富的細微信息，更能讀出情緒和威脅性的可能，亦即透過人臉表情、姿態動作、語調語意辨識來讓電腦理解人類的情感，再加上近年來因為深層神經網路的興起與使用，克服了光線、視角變異的差異，解決了過去僅適用於短距離正臉朝攝影機的問題，讓越來越多表情互動應用逐漸出現在生活當中。

如下圖1，智慧商店可透過影像辨識來提供自助結帳服務以及捕捉顧客於店內的行為進行分析與行銷。在學校，老師可透過系統即時感知學生上課情緒以及專注度，給予適時的心理輔導與關懷。在醫療院所，可透過臉部表情辨識病患與家屬情緒狀況，除提醒醫護人員關懷病患，也可提醒保全人員注意異常情緒之病患或家屬，避免急診暴力事件的發生。在機場航站，可協助空服/地勤人員快速協尋未登機旅客所在位置。其中特別像是智慧安防及智慧照護等應用皆為各國推動的重點，而上述應用大多須透過監視器的佈建，再透過影像分析技術，來達成像是公共場域的犯罪預防或高齡長者的照護協助。

傳統人臉辨識技術，限制多元應用

電腦透過攝影機畫面感知影像中人物的表情與情緒在過去就一直是一項熱門的研究議題，過去雖然不斷有研究學者提出不同方法來達成人臉表情辨識之目的，JAFFE[2]與CK+[3]人臉表情資料集為過去傳統方法常用之測試基準(Benchmark)，如下圖2為JAFFE資料集，但是傳統的影像處理方法對於人臉偵測與表情辨識始終存在視角變異造成偵測效能低落及辨識網路過於單調導致辨識準確率無法提升之問題，因此大多僅能適用於正臉且短距離的人臉情緒識別。直到最近因為深層神經網路的突破才克服這些視角與光線等的變異，情感計算(Affective Computing)[4]才能逐漸於零售、醫療、娛樂等領域看到人臉情緒識別相當多元的應用。

深層神經網路於人臉情緒識別技術

因為深層神經網路的發展，人們開始嘗試透過大量標記影像與訓練辨識網路以解決過去影像辨識表示性不足之問題。2016年香港中文大學Yang[5]等研究人員釋放了一人臉偵測的Benchmark，如圖3。本資料集標記了大量包含不同尺寸、姿態、遮蔽、表情、化妝、光線的人臉，讓深層神經網路有機會透過學習這些大量標記好的資料，訓練出一能應用於真實世界場景之人臉偵測模型。完成了人臉偵測後，透過輸入擷取的人臉圖片，透過所訓練的表情辨識神經網路(Resnet-50、Inception v3、Mobilenet等網路)辨識其表情，如下圖4示意。

情緒辨識亦在醫療產業逐漸嶄露

工研院資通團隊積極將情緒辨識技術往醫療領域找尋突破點，在與國內幾家大型醫療單位心理師協會及社工師等接觸訪談後，認為情緒辨識技術有機會應用在失智病患上，因智症患者的情緒表現是較明顯、不會隱藏，且病患運用藥物治療僅能延緩嚴重性無法康復，再加上目前臺灣65歲以上的失智症人口已增加至25萬多人，依據失智症協會的推估[6]，未來台灣65歲以上人口的失智症人數將持續攀升，到2021年預估將超過30萬人；2036年將超過50萬人，而在醫院治療後返家的失智症患者，居家照護人力是否足夠?都是接下來重要的社會議題，若能掌握失智症病患的情緒狀況，將有助於分配人力，減輕照護上的重擔。為此，工研院資通所團隊正積極與醫療單位合作，惟現階段醫療影像資料庫多存有資料完整性及隱私權的議題，故團隊將透過與醫療單位進行臨床實驗的方式，取得醫院端及受測者端的同意，蒐集失智病患情緒反應事件之前後相關影像，結合臨床醫師對應之處置措施與診療紀錄，以取得有效之病患情緒標記資料，再透過3D深層網路結構著重處理與捕捉選定之特定表情情緒之細微表情，使表情情緒與頻率更能成為重要的參考指標，開發適用於失智病患之情緒識別模型，以協助病患情緒狀態評估。

情緒辨識結合醫療產業創造全新價值

如前所述，目前人臉識別與情緒辨識的核心技術大多與零售或金融科技、安全監控等相關商品整合應用。若能與我國強項的醫療領域進行研發，未來研究成果將可串接居家照護產業，進一步打造陪伴型電子商品或療癒性商品之開發及應用(ex:寵物機器人、老人專用陪伴機器人等)。另外，目前醫院急診或公共空間的暴力事件頻傳，利用人臉及表情辨識系統，在急診室入口或醫院公共領域架設，可透過臉部表情辨識病患與家屬情緒狀況，除提醒醫護人員關懷病患，也可提醒保全人員注意異常情緒之病患或家屬，避免急診暴力事件的發生。綜上，人臉識別與情緒辨識結合醫療產業將有機會使我國成為全球智慧影像應用於醫療照護領域解決方案的提供者。

參考文獻

[1] https://zh.wikipedia.org/wiki/智慧城市
[2] M. J. Lyons, S. Akamatsu, M. Kamachi, and J. Gyoba, “Coding Facial Expression with Gabor Wavelets, “ in Proc. 3rd IEEE Int’l Conf. Automatic Face and Gesture Recognition, 1998, P. 200 .
[3] P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews, “The Extended Cohn-Kande Dataset (CK+): A complete facial expression dataset for action unit and emotion-specified expression,” in Proc. IEEE Workshop CVPR for Human Communicative Behavior Analysis (CVPR4HB 2010), 2010, P. 94.
[4] Rana el Kaliouby, “We Need Computers with Empathy,“ Technology Review, vol. 120, no. 6, pp.8, 2017.
[5] Shuo Yang, Ping Luo, Chen Change Loy and Xiaoou Tang, “WIDER FACE: A Face Detection Benchmark,“ IEEE Conf. Computer Vision and Pattern Recognition(CVPR), 2016, pp. 5525-5533.
[6] 臺灣失智症協會 http://www.tada2002.org.tw/About/IsntDementia