工研院資通所 張書馨 鄭名宏 楊耀欽 呂坤憲 蘇奕宇

隨著日漸普及的商用規格邊緣運算裝置以及5G網路的導入，以深度學習技術進行智慧影像分析的應用已逐漸落實在日常生活中，像是停車場／停車柱與路口監視器的車牌辨識、特定空間場域的人流與客層分析、機場出入境自動查驗通關系統的人臉辨識等；從商業應用的角度而言，導入智慧影像分析技術所提供的精準資訊流，可提高人力運用的效率並解決人手不足的問題，並作為商情分析與產品行銷優化的重要資訊。目前我們在與業者合作過程，也瞭解到業者在智慧影像分析應用落地的實際需求與痛點，包含（1）要能快速反應場域需求完成AI技術驗證，並兼顧運算成本與效能；（2）提供共通介面與業者系統進行資訊服務整合；（3）能依場域需求彈性組合使用各項AI技術；（4）簡化運作機制與維運SOP，讓業者易於營運。以下介紹幾項協助業者導入智慧影像分析技術於商用場域的整合性解決方案。

顧客屬性

在商用場域中瞭解顧客屬性對於消費傾向、產品定位、行銷策略甚至是滿意度等皆為重要參考資訊。顧客屬性的取得除了透過會員機制、發放問卷、人員觀測等方式來達成外，亦可藉由影像分析顧客人臉屬性，辨識其性別／年齡／表情等資訊來取得去識別化的顧客屬性，除了可與銷售紀錄綁定／歸戶作為分析資料，亦可提供即時行銷應用，提升資訊利用的即時性與價值。

檯前／廣角人臉屬性

檯前人臉屬性應用為設置攝影機於結帳/點餐櫃檯前，辨識結帳或點餐時顧客的性別、年齡和表情；當顧客靠近櫃檯時，鎖定畫面中特定範圍內顧客的臉部區域，偵測畫面中的人臉後進行追蹤並辨識其性別、年齡和表情(如圖1)，當顧客臉部超出特定範圍時，則判定此顧客已離開櫃檯，並偵測下一位顧客進入櫃檯前以再次鎖定臉部進行辨識。運用此技術辨識結果結合商品特點，可即時顯示廣告於點餐／結帳螢幕或電子看板上，可即時推銷符合顧客屬性的商品，增加產品曝光度及提升銷售量，同時亦可收集顧客的年齡、性別分布和購買商品時的滿意度，以分析具商業價值的資訊。

廣角人臉屬性應用可設置攝影機於較寬闊的空間，如餐廳、包廂或咖啡館等區域，對於畫面內所有的顧客臉部進行性別、年齡和表情辨識，如圖2。在廣範圍環境下，臉部尺寸較小故需使用適合此情境的人臉偵測模型，此技術可根據需求設定辨識頻率，藉此收集特定時段顧客的屬性，如店內消費族群的性別或年齡分布，結合該時段商品銷售資訊可改善銷售策略以及優化庫存以降低營運成本；此外，藉由收集顧客的表情資訊可分析店內顧客滿意度並統計量化結果，隨時掌握趨勢變化，例如當滿意度下降時，透過意見調查立即改善調整商品內容或服務品質，降低客源流失並即時優化產品與服務。

顧客行為

除了顧客屬性外，顧客於商用場域內的動作行為及位置資訊，也可藉由智慧影像分析技術將其辨識結果轉換為具價值的精準資訊流，協助業者與場域提供顧客創新與便利的服務。

舉手偵測

對於餐飲業者而言，即時掌握店內顧客的現場狀態，是強化服務品質重要的一環。一般作法是由服務人員觀察顧客動作，例如看見有顧客舉手後驅前回應其需求，這種方式對於店內人力運用較為侷限且於人力不足時會造成服務品質下降。透過與餐飲營運管理業者合作開發顧客舉手動作辨識技術，利用店內攝影機之影像畫面識別顧客舉手動作，並串連業者現場資訊系統，可將現場顧客之服務請求即時通知服務人員進行處理。此技術主要包含4個步驟：（1）設定攝影機影像畫面與場域桌次的對應關係，如圖3（a）；（2）偵測與收集影像畫面中顧客之骨架節點資訊；（3）將連續骨架節點移動資訊透過遞歸神經網路（Recurrent Neural Network, RNN）架構辨識動作類型（辨識模型的影像訓練資料集為自主拍攝共數千段多角度舉手過程影片），如圖3（b）；（4）分析發生舉手動作之顧客所在桌次號碼，進行分析結果回報。透過影像即時分析場域內顧客行為動作的方式，能協助業者在第一時間察覺現場顧客的即時需求，同時也能協助業者為顧客提供更有感的差異化服務。

桌位狀態辨識

許多商場與餐廳都有桌位管理與為顧客帶位之需求，常見作法是透過服務人員觀察與通報彙整的方式來進行，透過影像辨識桌位的狀態，可提供包含空桌或是占用、桌位占用時間、離開桌位時間等資訊，藉由整合場域業者服務應用系統，可提供營業現場在帶位、清桌、點餐以及相關桌位控管的服務應用，提升現場人員效率與服務品質。

生鮮自助秤重／結帳輔助

生鮮自助秤重為即時偵測顧客拿取攝影機畫面中標註特定數個範圍內的個別商品種類，並將拿取種類傳送到電子秤顯示，顧客至電子秤秤重估價時，可直接點選剛剛拿取的商品種類進行秤重估價與結帳，避免顧客從所有商品列表中去一一過濾挑選，提升自助之流程順暢度並節省時間。此應用以人體骨架偵測與追蹤技術，將顧客畫面轉為骨架資料，匯入追蹤模組進而分析各顧客手部位置與停留狀態，判定顧客是否有拿取商品之行為；圖５為系統偵測顧客手部拿取陳列區域中左上方1和2號商品籃，顯示於資訊儀表板上，而在偵測到拿取生鮮商品（1號為香蕉，2號為火龍果）後，透過API串接，將資訊傳送至電子秤顯示，顧客再將商品個別置於秤盤上，直接在螢幕點選相對應品項則可印出結帳金額條碼，最後到收銀台完成結帳。

人流資訊

人流資訊主要分析場域中顧客移動軌跡的分布情形和動態變化，包括人數、位置、方向、速度等量化屬性。如圖6（a）所示，藉由偵測顧客移動方向可實作進出場人次計數功能，相關數據用於統計各時段場內人數、流動率、平均停留時間等資訊，提供業者規劃行銷活動、安全管制之參考。圖６（b）為藉由偵測特定區域內顧客的進出速度計算排隊人數和等待時間，例如：在實體商店中可協助業者彈性調配服務窗口。其中，透過二維影像分析三維真實世界屬性的過程中必然會遺失深度資訊，此限制可能導致距離／速度的研判誤差，例如：攝影機畫面所呈現的平面影像無法精準表達兩物件在真實世界中的相對方位和距離。導入攝影機校正和座標轉換技術可還原真實世界座標資訊，如圖７所示，將攝影機畫面所偵測到的人員影像位置，經由座標轉換後標示於場域平面圖，則能較精準估測人員的位置和移動方向／速度，進而建立各類相關應用服務，例如人員動線熱圖、貨架商品關注度等。

應用系統介接與整合

本文內提到的多項智慧影像分析技術，包含人臉屬性辨識、顧客動作辨識、桌位狀態偵測、人流分析等AI應用模組皆具備多樣化硬體平台相容性（ARM、x86_64架構和選配GPU），並提供程式包以一鍵安裝方式降低AI系統布署困難度，讓業者可輕易安裝所需AI應用模組於場域內輕量化運算裝置，並與業者共同開發場域布署過程所需的初始化與設定工具，兼顧安裝布署效率並利於營運擴散。而AI應用模組也提供彈性化的API介接機制，可輕易與業者既有服務平台／系統介接，進行模組參數設定／執行狀態記錄及資訊回報（如圖8)；當模組分析攝影機影像畫面取得辨識結果時，例如：分析到顧客之性別／年齡／表情資訊、某一桌位的顧客有舉手動作、顧客拿取某一生鮮商品、桌位狀態改變、週期性人流計數等資訊時，除了可透過API方式回傳至業者資訊系統，提供其進行即時顧客服務處理或是後續數據分析，也可直接與場域內周邊裝置（如數位看板、電子秤等）進行資訊串接，提供顧客即時優惠促銷資訊或是加速顧客秤重貼標等高彈性與多元化的即時應用。

結論

智慧影像分析於商用場域之應用，除了影像分析技術本身需達到商用等級的成熟度外，還須具備易於複製、快速維護及簡易營運之特性，才能對應商業實際落地應用與長期營運需求；智慧影像分析技術的商業化落地應用，其門檻除了因影像處理所需運算資源較高而增加成本外，導入場域的流程是經常被忽略但卻很重要的環節；能夠因應業者與場域的需求，快速開發適合且兼顧成本與效能的技術，並協同業者設計發展導入場域落地與營運所需的流程機制並完成服務應用之整合，才能讓智慧化與人性化的影像分析應用服務，更快地落實在日常生活中。