工業技術研究院 資訊與通訊研究所 黃信騫 何丹期 陳奕鈞

Amazon Go公開其應用於實體無人商店之拿了就走技術（Just Walk Out Technology），不需店員或自助結帳，開啟了實體行為數位化之落地可行性。

依據聯合國《世界人口趨勢報告》指出，至2050年全球1／6人口超過65歲，而到2030年為止，將有34國達到「超高齡社會」標準（65歲以上老年人口比率達20％）。高齡化社會帶來最大的影響之一是勞動力減少，其中以零售服務業與倉儲業之人力短缺現象最嚴重。為了彌補勞動力短缺問題，各式無人自動化技術隨著科技進展不斷推出，然而多數無人自動化技術設計皆是以改變使用者行為來屈就技術，如自動販賣機只能從機器外看著商品來決定購買、自助結帳要自己掃條碼等，並不是最佳的解決方案，因此在推動使用上有所局限。從使用者的觀點來看，最好的是以技術就人，讓使用者在不改變既有行為，就能藉由行為數位化來達成服務無人化的目的。 Amazon Go於民國105年底公開其應用於實體無人商店之拿了就走技術（Just Walk Out Technology），可即時辨識顧客挑選的商品，不需店員或自助結帳，徹底顛覆傳統超市，也開啟了全球對於達成實體行為數位化之長遠夢想落地之可行性。

拿了就走智慧商店技術

本團隊研發「拿了就走技術」，藉由結合人工智慧（AI）及物聯網（IoT），為一高度軟硬整合技術（AIoT），提供了精準度高且可辨識使用者細微動作的基礎，除了自動化帶來使用者良好體驗與服務人力成本節省外，將有更高附加價值的行為數位化衍生應用。可提供的數位化行為辨識包括（1）使用者物品取放記錄（2）接觸物品模式（3）物品取放順序與關聯等。因為物品已完全數位化，自然可以進行庫存管理與智慧補貨、備貨等物流管理應用。此外，亦可透過會員或各種行銷活動機制將線上與線下資訊的串聯，進行消費旅程之完整分析，進而創造高附加價值的營運模式或具有高價值區隔的應用場域或應用情境（如圖1）。

圖1 消費旅程分析及應用情境

「拿了就走」購物系統

自民國106年中結合人工智慧與物聯網技術，投入「拿了就走」智慧商店技術落地，高度整合包含App、進出閘門控制系統、IOT溝通管理系統、購物交易系統、後台管理系統、業者系統及智慧購物行為辨識系統，兼顧營運可行性，完成購物流程設計及金流整合。可以讓消費者順利完成「拿了就走」購物情境之完整系統設計如圖2，消費者只要開啟App 掃描進店、挑選商品不必排隊結帳就能帶著商品離開，系統會根據所偵測到的商品自動計價、線上完成交易並開立電子發票。此一購物情境除核心『智慧購物行為辨識系統』外，需高度整合包含硬體、軟體、服務設計以及營運管理，才可讓消費者有真實且滿意的購物體驗，而非停留在實驗室階段，只能進行準確度測試。對營運商而言，在不大幅修改其既有系統的情況下也能快速銜接。此外，本系統並提供後台管理方便店員盤點，也提供API能快速介接其相關系統、如會員、商品資料庫等。經多次測試後系統已達穩定，並向國內各大連鎖超商通路（如7-11、全家、全聯……）展示並多次深入交換意見，目前已有通路商洽談合作進駐營運。

圖2 拿了就走智慧商店示意圖

智慧購物行為辨識系統

如圖3，本系統結合一般平價之多重感測器（如攝影機、荷重元、紅外線等）硬體設備並開發多種辨識演算法，以感應技術融合（sensor fusion）及認知推理（cognitive reasoning）技術達成可營運之高準確度要求，並由邊緣運算（edge computing）降低傳輸複雜度與後台伺服器負擔滿足即時反應運算結果需求，藉由深度學習與AI reasoning解決複雜應用情境問題，辨識準確度達98％以上。包含了4個關鍵模組分別為人員追蹤（Multi Target Multi Camera Tracking）、人員姿態估計（Pose Estimation）、物品取放辨識（Object Detection）、及多重感測物品／人員綁定（Multi-level Data Fusion）。人員追蹤模組必須克服在場域多人移動、人員交錯及人員外觀類似的複雜情境；當人員靠很近時得搭配人員姿態估計技術來決定物品是何人拿取，才能做出正確判斷；物品取放辨識模組必須克服遮蔽、堆疊等問題以滿足複雜的取放情境；多重感測物品／人員綁定模組則是當有物品取放事件發生時，能正確將該物品與正確的拿取人員綁定。

圖3 智慧購物行為辨識技術

AR影像商品辨識 提升零售前場商品管理效率

自動貨架平面圖與標價卡更新

貨架平面圖（planogram）呈現貨架上每個商品的擺設狀態（商品品項、擺設位置），是規劃商品陳列情境與掌握店內的商品銷售狀況之重要依據。然而實際零售場域往往因為商品銷售速度不一，導致貨架上的商品擺設頻繁變動，預先規劃好的貨架平面圖無法跟上現場變動速度，導致實體與數位資料落差。

我們發展一套結合擴增實境（Augmented Reality，AR）空間定位與影像商品辨識技術之貨架商品偵測與平面圖更新服務，可從貨架照片中自動偵測出照片中的商品，並計算出相對於貨架之位置（即貨架第幾層的第幾個商品）。店員僅需要在貨架排面整理完畢後，透過手機拍攝一張貨架照片即可完成平面圖更新。該服務亦可搭配零售場域現場固定式攝影機進行定時拍攝更新，以取得更即時的貨架商品資訊。即時貨架平面圖資訊弭平了實體現場擺設狀態與後台數位資料之誤差，也衍伸出其他應用情境，如結合貨架電子顯示面板達成自動標價卡更新服務、商品空缺提示，亦可與企業資源規劃（Enterprise Resource Planning，ERP）系統整合進行更完整的商品銷售分析。

圖4 貨架商品偵測服務操作流程

貨架商品盤點

商品管理一直是實體零售業的痛點，透過和零售業者的訪談得知，超市半年才能盤點一次，超商約2～3個月盤點一次。為了能讓商品盤點融入店員日常作業中，我們利用AR智慧穿戴裝置來建構商品盤點機制。商品數量計算是透過AR貨架空間定位與影像商品辨識預測商品貨架上的堆疊狀態，進而計算出商品數量，可在高度遮擋之零售貨架擺設情境下正確計算出商品數量。實際使用時，店員僅需要在進行商品補貨、拉排面的時候配戴AR裝置，AR裝置的攝影機會即時追蹤並辨識目前視野之貨架位置與看到的商品品項與數量。

圖5 貨架商品盤點操作流程

無人自動化服務為最佳之產業轉型升級方案

隨著技術發展及未來大環境的改變，商店的型態會不斷演進且帶來新的商業模式。如圖6，原本因人數不足而不會開超商的廠區，透過引進拿了就走技術，預期帶來接近600間的廠區無人店商機；或是其他應用場域，如物料室轉變為無人物料取件，進一步則可為自動化倉儲管理。本團隊研發的「拿了就走技術」可彈性應對環境的需求進行調整，實現快速複製展店的解決方案，透過我們的技術，也可讓未來捉襟見肘的人力可運用在高附加價值的服務中，像是讓傳統零售業可以做到自動盤點，可以掌握立即存貨資訊進行自動進補貨服務，按照商品進貨時程進行自動效期管理，甚至可以提供資訊平台讓消費者能即時遠端查詢、查看架上商品的販售情況，實現如同電商業者透過線上消費行為追蹤，而可對使用者進行的精準個人化分析，打造個人化使用體驗。

圖6 無人自動化商店未來潛在情境與店家數預估（資料來源：本研究整理）

參考文獻

[1] Ristani, Ergys, and Carlo Tomasi. "Features for multi-target multi-camera tracking and re-identification." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
[2] Sun, Ke, et al. "Deep high-resolution representation learning for human pose estimation." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
[3] Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao. "Yolov4: Optimal speed and accuracy of object detection." arXiv preprint arXiv:2004.10934 （2020）.
[4] United Nations. "Our world is growing older: UN DESA releases new report on ageing." Available at: https://www.un.org/development/desa/en/news/population/our-world-is-growing-older.html