工研院資通所 孫元亨 陳瑞文 吳俊賢

老人跌倒是公共衛生及其臨床重要的議題之一，不僅造成老年人的身體傷害、住院甚至死亡，也帶給醫療體系及家庭龐大的照護負擔。現行跌到偵測系統大多採配戴感測器方式進行分析，此類方法容易將日常活動當作誤判，誤判率較高，使用者也可能忘記攜帶或配戴，且配戴感測器容易造成身體不適以及成本較高等缺點。因此本研究採用不同於配戴感測器的影像式分析技術來觀察長者的活動異常狀態，跌倒事件偵測準確率可達86%。

居家活動感知分析技術之跌倒偵測系統

本研究提出一種基於CNN（卷積網路）和SVM（支持向量機）技術的跌倒偵測系統解決方案。引入現有Video公開數據集作為訓練和測試。相關系統架構、數據收集、人工智慧模型訓練與測試結果說明如下：

1. 系統架構

居家活動感知分析技術之跌倒偵測系統架構如同圖1所示，基於Nvidia深度學習開發版（TX2）與USB CAM硬體搭配ROS（Robot Operating System）作業環境所組成，軟體元件包含OPENCV、Tensorflow、YOLO（You only look once）等電腦視覺處理套件。系統運作統一經由ROS Node之間透過發佈/訂閱ROS Topic進行訊息傳遞，人形偵測ROS Node發佈的人形偵測結果ROS Topic，並取得結果訊息判斷是否發生跌倒事件，當發生跌倒事件時，系統可透過跌倒事件ROS Topic收到事件訊息通知並進行後續處理。

2. 收集數據集與統計4種人形姿態的影像標記

居家活動感知分析技術之跌倒偵測系統將跌倒行為分解成4種人形姿態：站立、坐姿、傾斜、跌倒。人形姿態類型示意圖如圖2所示。經收集10多個公開數據集（UR Fall , LE2i Fall, Google等等）並進行影像處理共取得11萬張照片，照片經標記處理取得28,777張訓練資料，公開數據集收集來源與影像標記數量統計如圖3所示。

圖3  數據集收集來源與影像標記數量統計

3. 模型訓練

居家活動感知分析技術之跌倒偵測系統採CNN（卷積網路）和SVM（支持向量機）技術，使用基於CNN的分類系統學習分辨人形站立、坐姿、傾斜、跌倒4個姿態，人形姿態偵測後使用標準SVM判斷姿態影像時序進行跌倒偵測深度學習模型訓練，取得更準確的分類結果。CNN + SVM 跌倒分類器初步原理請參考圖4所示。

CNN分類系統使用YOLO訓練環境，訓練模型結構可以分成3部分：
●Yolo main body part（darknet_body）：負責特徵提取與輸出
●Yolo Neck part（make_last_layer, upsamples）：將feature map中包含的訊息轉為座標、類别與信心值
●YOLO_head part：計算預測資料與標註資料的誤差值

模型訓練輸入照片解析度為608*608 pixel，訓練次數8萬回，訓練出可以偵測4種人形姿勢、姿勢信心值與標記座標之跌到偵測模型。

4. 模型驗證與準確率測試

本研究模型驗證採YOLO驗證模組進行驗證，使用訓練資料進行損失（Loss, 如圖6所示）與準確率（Accuracy如圖7所示）計算，預測錯誤訓練次數1萬回左右，Loss就收斂在1以內，Accuracy達90%。

本研究準確率測試使用訓練資料與測試資料混合測試計算，使用143支影片（訓練影片100支與測試影片43支，影片播放速率25 frame/sec，解析度640*480 pixel）, Accuracy達86%（測試數據參考圖8所示）。

結語

本研究提出一種基於CNN（卷積網路）和SVM（支持向量機）技術的樂齡跌倒偵測系統解決方案，採用純影像分析方式，分析長者姿態外型的差異，進而提供異常運動狀態決策是否跌倒，準確率可達86%，並提供活動力追蹤、跌倒紀錄偵測與分析等樂齡守護陪伴關懷服務，讓無法隨侍在側的子女可以掌握高齡父母的生活狀態，並隨時關注是否有意外發生，如此便能適時關心並提供即時協助。未來此成果將持續推廣至其他需要老人照護功能的場域，例如智慧安養院管理，智慧影像監控系統等相關應用。

1. Centre for Research and Prevention of Injuries-CEREPRI, Fact Sheet: Prevention of Falls among Elderly, European Network for Safety among Elderly (2007), http://www.injuryobservatory.net/wp-content/uploads/2012/08/Older-Guide-Prevention-of-Falls.pdf

2. J. LiuJ. Yang, “Action recognition using spatiotemporal features and hybrid generative/discriminative models,” J. Electron. Imaging21(2), 023010 (2012).JEIME51017-9909 http://dx.doi.org/10.1117/1.JEI.21.2.023010

3. H. Jainet al., “Recognizing human gestures using a novel SVM tree,” Proc. SPIE8300, 83000M (2012). http://dx.doi.org/10.1117/12.908087

4. Y. WangG. Mori, “Hidden part models for human action recognition: probabilistic vs. max-margin,” IEEE Trans. Pattern Anal. Mach. Intell.33(7), 1310–1323 (2011).ITPIDJ0162-8828 http://dx.doi.org/10.1109/TPAMI.2010.214

5. N. Nouryet al., “Fall detection—principles and methods,” in Proc. 29th Annual Int. Conf. IEEE Engineering in Medicine and Biology Society (EMBS 2007), Antalya, Turkey, pp. 1663–1666 (2007)

6. A. LeoneG. DiracoP. Siciliano, “Detecting falls with 3D range camera in ambient assisted living applications: a preliminary study,” Med. Eng. Phys.33(6), 770–781 (2011).MEPHEO1350-4533 http://dx.doi.org/10.1016/j.medengphy.2011.02.001

7. C. KawatsuJ. LiC. Chung, “Development of a fall detection system with Microsoft Kinect,” in Robot Intelligence Technology and Applications 2012, J.-H. KimE. T. MatsonH. MyungP. Xu, Eds., Advances in Intelligent Systems and Computing, Vol. 208, pp. 623–630, Springer, Berlin (2013)

8. B. ToreyinY. DedeogluA. Cetin, “HMM based falling person detection using both audio and video,” in 2006 IEEE 14th Signal Processing and Communications Applications, pp. 1–4 (2006)

9. D. Andersonet al., “Recognizing falls from silhouettes,” in 28th Annual Int. Conf. IEEE Engineering in Medicine and Biology Society (EMBS ’06), pp. 6388–6391 (2006)

10. V. VishwakarmaC. MandalS. Sural, “Automatic detection of human fall in video,” in Proc. 2nd Int. Conf. Pattern Recognition and Machine Intelligence (PReMI’07), pp. 616–623, Springer-Verlag, Berlin (2007)

11. J. Willemset al., “A video-based algorithm for elderly fall detection,” in World Congress on Medical Physics and Biomedical Engineering, Munich, Germany, Vol. 25/5, pp. 312–315 (2009)

12. M. KhanH. Habib, “Video analytic for fall detection from shape features and motion gradients,” Lect. Notes Eng. Comput. Sci.2179(2), 1311–1316 (2009)

13. “YOLO: Real-Time Object Detection”, https://pjreddie.com/darknet/yolo/