技術探索

Grab-and-Go模組化智慧商店技術

工業技術研究院 資訊與通訊研究所 黃信騫

7-ELEVEN攜手工研院打造全台首家24小時營運、Grab-and-Go的智慧商店「X-STORE 7」,提供消費者流暢的購物體驗,不須逐一清點商品,拿了就走!(圖片來源:7-ELEVEN提供)

前言

根據聯合國《世界人口趨勢報告》的數據,預計2050年全球將有六分之一的人口年齡超過65歲,這個人口老齡化趨勢帶來的其中一個最明顯影響是勞動力減少,尤其在零售服務業和倉儲業中,人力不足的問題尤為嚴重。為了解決勞動力短缺問題,各種自動化技術應而產生。然而,許多自動化技術往往需要使用者改變其行為方式以適應技術,例如自動販賣機需要使用者透過按鈕來選擇商品,自助結帳需要使用者自行掃描條碼等,這並不是最佳解決方案。從使用者的角度來看,最佳的方式是技術能夠適應使用者現有的行為方式,通過數位化行為來實現服務的自動化,例如採用拿了商品就能離開的購物模式。全球無人便利商店市場預計到2028年將達到164.03億美元,無人商店儼然成為實體零售業的新趨勢,而未來的技術發展將首重降低建置成本及增加展店速度,朝「可複製、可獲利」的營運模式前進。

 精彩內容

 1. 智慧商店需求介紹及市場商機
 2. 競爭對手分析與比較
 3. 深入淺出解析X-STORE 7
 4. 未來技術精進方向

智慧商店需求介紹及市場商機

智慧商店需求

Omnico US公布的數據零售研究報告探討了美國各地共2,008名消費者的購物挫折以及他們對科技的態度[1]。近四分之三的受訪者(74%)表示科技將使購物變得更容易;82%的人準備使用自助服務設備以更快、更簡單地方式進行店內支付,更有高達86%的人希望透過科技使購物變得更輕鬆,如使用手機或平板應用程式進行掃描和支付,這樣他們就可以免排隊並節省時間。而先進的數位技術幾乎可以解決所有這些問題,讓消費者的購物變得愉快和輕鬆。Amazon Go於2016年底公開其應用於實體無人商店之拿了就走技術(Just Walk Out Technology)。如圖1AmazonGO免排隊購物流程,顧客走入商店挑選商品後即可離店,系統將辨識顧客挑選的商品自動產生購物車清單並扣款,不需店員或自助結帳即可直接離店,徹底顛覆傳統超市,也開啟了全球對於達成實體行為數位化這個長遠夢想落地之可行性。

圖1 AmazonGO免排隊購物流程(圖片來源:https://aws.amazon.com/tw/just-walk-out)

市場商機

2021年全球無人便利商店市場規模為6,748萬美元,預計到2028年將達16.403億美元,預測期內複合年成長率(CAGR)為51.9%。疫情過後,顧客對無人便利商店的期望也隨之提高,如英國連鎖超市莫里森(Morrisons)計劃開設無人商店,日本全家便利商店(FamilyMart Co.)也預計在2024年開設1,000家無人店。其中,北美是無人便利商店最大的市場,因為該地區市場多為實力雄厚的參與者,並且正在積極投資該領域。例如,Amazon Go開設了第一家成熟的無收銀員超市.該超市設有新鮮蔬菜部、麵包店和酒類專區,目前擁有約5,000種商品和10,000平方英尺的空間。這類型的投資使無人商店的數量不斷增加,並預期將提高人們對北美無人商店的認識及其帶來的便利性。此外,由於印度和中國等全球成長最快的經濟體,亞太地區成為無人便利商店的第二大市場。在這之中,日本是此地區技術最發達的國家,得益於日本人民對創新和技術的積極態度以及繁忙、快節奏的職業文化,加上日本是擁有世界上自動販賣機密度最高的國家,因而積極開發全新解決方案並持續精進既有產品服務,以期提供輕鬆、靈活、以及便利的購物體驗。整體而言,這些地區的企業正在走向自動化以改善業務,從而促進該地區便利商店市場的成長[2]

競爭對手分析與比較

拿了就走智慧商店已有愈來愈多的業者投入,包括如Amazon、AiFi、trigo、Standard AI、Grabango等,這些企業皆致力於改進傳統零售方式,以提供更便利的購物體驗。目前的技術實現方案可大致分成兩大類:

  1. 多感測器融合技術:利用多種感測器,如攝影機用於捕捉顧客和商品影像以分析顧客行為及辨識商品,而重量感測器用於檢測商品的重量變化以判斷商品取放數量。多感測器的使用提高了辨識準確度,減少了誤判和漏判的風險。此方案對運算資源的要求較低,這意謂著商店可以節省運算成本,但相對地需要替換既有貨架並增加相應的建置成本。
  2. 純影像偵測與辨識技術:此方案優點是可利用既有的貨架進行部署,不需要大規模的改造,使原商店可以較快速地轉型為智慧無人商店。然而,意即需要投入極高的計算資源以執行大量的影像處理及辨識,也使得產生購物清單的速度相對慢上許多,消費者得在離開商店後(通常至少要20分鐘)才能取得最終的帳單,無法在當下確認是否有誤,這對大部分零售業者來說是無法接受的方案。另外,在面臨影像遮蔽的情況下,可能會出現辨識錯誤的情況,造成辨識準確度較低。


綜上所述,純影像解決方案具有快速部署和使用既有貨架的優點,但在運算資源要求、計算帳單速度和辨識準確度方面存在一些限制。多感測器融合解決方案則可提供消費者即時的帳單,並具有更高的辨識準確度和較低的計算資源要求,但需要替換既有貨架並增加相應的建置成本。表1整理了本團隊與世界領導機構及業者的方案差異,包含使用的感測器元件及技術實現方案。其中本團隊與Amazon及AiFi皆是採用多感測器融合技術,但有以下2點差異:

  1. 離店前即提供購物清單(AiFi同樣為即時,Amazon離店後10~20分提供):本團隊以重量感測器或雷射探測與測距(Light detection and ranging,Lidar)進行邊緣計算以偵測事件發生,降低傳輸複雜度與後台伺服器負擔,因而避免隨時進行影像辨識的效能需求,可即時取得運算結果。並且藉由感應融合技術(Sensor fusion)有效提取各種感測器資訊,解決影像遮蔽的問題,達成可營運之高準確度要求。
  2. 模組化布建以應用於不同情境(AiFi,Amazon產品皆為整店模式):由於辨識演算法(如人員追蹤,商品辨識,行為辨識等)及感測器(如攝影機、重量感測器等)皆模組化且可獨立運作,除了適用於整店模式外,還可在各種不同的使用情境中發揮作用。例如,將人員追蹤與攝影機結合,可以進行店內熱點分析。同樣地,結合商品辨識技術與重量感測器,可以實現無人物料室的有效管理。這些應用不僅提升了零售業者的管理效率,更能夠大幅提升投資意願。藉由模組化的功能組合與應用方案,使得物聯網技術能夠在不同的情境下靈活運用,讓企業可以更有效地運營並提供更優質的服務,為業者帶來競爭優勢與更多的商機,從而拓展市場與擴大投資。

表1與世界領導機構及業者之技術方案比較

深入淺出解析X-STORE 7

Grab-and-Go技術

本團隊研發「Grab-and-Go」技術並已應用於統一超商XSTORE-7,營運半年期間(2023年5月~2023年10月)來客絡繹不絕,顯示消費者已能接受這樣的購物體驗,業者也開始獲利,加上正向的宣傳效果已吸引包含硬體、系統等廠商前來參觀並洽談合作。「Grab-and-Go」技術藉由結合人工智慧(Artificial Intelligence,AI)及物聯網(Internet of Things,IoT),為一高度軟硬整合技術—人工智慧物聯網(Artificial Intelligence of Things,AIoT),提供了精準度高且可辨識使用者細微動作的基礎。除了自動化帶來使用者良好體驗與服務人力成本節省外,將有更高附加價值的行為數位化衍生應用,如使用者商品取放記錄、商品熱區、商品取放順序與關聯等。而系統要達成上述目標的關鍵是知道誰取/放什麼商品,這將對應到以下2個重要技術:

  1. 人員追蹤:人員追蹤模組必須藉由架設多台攝影機,其視野覆蓋整個商店不能有死角,並克服場域多人移動、人員交錯及人員外觀類似等複雜情境,以避免追蹤過程有身分交換的情況發生。圖2為人員追蹤的技術架構,說明如下:
    • 人員偵測:收集超過5,000人次及百萬個人員標註的訓練資料,使人員偵測模型兼具多樣性及完整性,可有效偵測出影像中的人員位置。
    • 人員匹配:以移動向量、人員位置/外觀等資訊,計算與前一幀最符合的追蹤結果。
    • 場景理解分析:利用不同攝影機下人員相對位置(如A位於B的上方),有效解決人員交錯、遮蔽等因素造成的人員身分交換。
    • 人員重識別(Re-Identification):根據人員偵測結果,比對不同攝影機下的人員外觀,有助於進一步確認人員身分。
  2. 商品辨識:商品辨識模組必須克服遮蔽、堆疊等問題以滿足複雜的取放情境,其技術細節包含:
    • 商品偵測:收集超過1,000種品項及百萬個商品標註訓練資料,使商品偵測模型兼具多樣性及完整性,可有效偵測出影像中的商品位置。
    • 商品辨識:模擬顧客實際取物情境,收集不同視角及部分遮蔽的商品影像,以及藉由資料擴增豐富訓練資料提高辨識正確率。
    • 多重感測取放辨識:結合一般平價多重感測器(如攝影機、荷重元、紅外線等),以感測融合技術支援各種取放情境,如圖3所示。

3 各種複雜取放情境

購物流程

如圖4 X-STORE 7購物流程,顧客首先掃瞄QR Code以瀏覽器開啟登入頁,輸入OpenPoint會員帳密及輸入手機驗證碼後,即可持手機條碼掃瞄閘門進店(步驟1~2)。顧客拿取商品(步驟3)走到結帳區,系統會自動跳出購物清單供顧客確認(步驟4),接著進行結帳(步驟5),目前提供自助POS支付及Web線上支付(步驟6)2種結帳方式,方便顧客更便利地完成付款。然而,即便是Amazon GO或其他系統皆無法達到完美的辨識正確率(100%),因此當辨識錯誤時需要有修改購物清單的流程。Amazon GO在顧客離店後(約5~10分鐘)扣款及提供購物清單,若有錯誤時再由顧客移除退款。由於中西文化的差異,這樣的做法對台灣業者及顧客都較不能接受。因此,團隊採取離店前即時產生購物清單,顧客比對後若有錯誤可由補登商品流程(步驟7)自行更正,降低事後惡意移除或是系統辨識錯誤而多扣款的情況。也就是說,比起Amazon Go以動線流暢為優先的做法,X-STORE 7優化結帳流程設計以提高顧客消費體驗。

圖4 X-STORE 7購物流程

維運系統功能

XSTORE-7能成功落地的一大重要原因是提供一友善的介面給店員,方便進行硬體異常處理、檯帳狀態監控及更改檯面等需要人工介入的項目。如圖5,當貨架上出現硬體異常的符號代表硬體異常,店員可先確認貨架上的商品是否有擋住紅外線以至頻繁觸發事件,若有異物則可第一時間移除。當貨架及商品無異常,則通報工業技術研究院技術團隊重啟,團隊成員可依店員通報異常之貨架編號遠端手動重啟,如此可避免錯誤累積,提高辨識正確率。由於即時辨識購物清單,系統能隨時掌握檯帳狀態(如圖6),並在檯帳錯位以及需要補貨時通知店員處理,除維持檯面美觀也減少顧客發生買不到商品的情況。

圖5 貨架即時監控

圖6 即時台帳狀態

如圖7、貨架頁面若有錯位(與原擺放商品不同)時會跳出「錯位擺放」文字及紅色框,或是貨架商品數量低時都會提醒店員進行手動整理貨架商品及補貨;店員整理完貨架,確認商品數量後,點選「校正」,可使系統自動更新回復正常擺放。另外,由於業者更換商品頻率高(2週更新1次,平均1次更新45品),系統也提供一快速上、下架修改檯面的功能;店員可選擇「陳列架不變,擺放商品改變」(如圖8左),或是「陳列架及擺放商品皆改變」(如圖8右)進行快速且直覺的檯面調整。

圖7 即時檯帳錯位顯示

圖8 檯面更改功能

      未來技術精進方向

      由於無人便利商店所採用的一些技術尚未成熟,高昂的初始成本和維護成本限制了無人便利商店市場。因此,無人商店必須花費更多的資金來開發其流程。另外,由於店內沒有工作人員,店家必須額外支付設備維護費用。未來的技術發展將首重降低建置成本及增加展店速度,朝「可複製、可獲利」的營運模式前進。XSTORE-7尚有一些技術議題需排除與優化,待技術限制解除後將可加速展店機會。以下將分別就貨架硬體及展店布建等議題,說明團隊如何克服目前遭遇的困難。在此技術發展下,相信未來定能達到硬體成本可負擔並加快展店布建速度,朝消費者、業者雙贏的局面邁進。

      貨架硬體優化

      如圖9,團隊於2023 TechDay展出薄型智慧貨架,採用通用薄型貨架進行設計改良,透過模組化設計,此款薄型智慧貨架可運用於連鎖超商、藥妝店等傳統零售百貨。取消隔板設計讓貨架更為簡約明亮,以及背板整合簡化線路布線,不僅走線較為美觀,同時也將線路調整至貨架下方便於維修。後續將依據業者可接受的有限變動幅度,大幅減少辨識所需的感測元件及運算單元,包含:

      • 微型電腦(Next Unit of Computing,NUC)數量減半,降低成本的同時也能充分運用硬體效能。
      • 攝影機視角調升增加視野(Field of View,FOV),降低攝影機所需數量,且內縮架設使外觀更加簡潔。
      • 以最新光達感測器取代舊式紅外線感測器,此做法能同時監控多個貨架,大幅降低整體硬體建置成本。

      圖9 2023 TechDay展出薄型智慧貨架

      攝影機自動化布建技術

      如圖10,部署攝影機時,首先需要基於以往的經驗和知識來選擇初始的攝影機位置,期望能夠最大程度地捕捉所需的視野。然而情況往往不盡如人意,攝影機的視角可能不符合預期而出現死角或遮擋物。這樣的情況通常需要再次調整攝影機的位置或角度,以確保其能夠有效地捕捉所需的資訊。此外,為了有效地訓練辨識系統,需要大量的訓練資料,這意味著若攝影機的設置改變,收集訓練資料及調整參數就得重新進行,相當費時費工。因此,團隊擬開發智慧商店攝影機自動化布建技術,藉由建立商店3D模型及模擬人員購物行為,自動決定攝影機架設位置,降低設定時間加快展店速度。

      圖10 攝影機布建技術挑戰

      如圖11,團隊也將規劃建立一標準作業流程(Standard Operation Procedure,SOP),首先根據場域規劃圖(2D layout)建立虛擬商店三維模型,並藉由真人動作影片生成人物動畫。接著可任意調整攝影機位置及架設角度,並取得視野畫面。由於動作腳本皆已事先定義,無須人力即完成資料標註。最後使用強化學習[3]根據資料標註結果(Ground Truth)計算損失(Loss)及獎賞(Reward),同步更新相機配置網路(Camera Designer,輸出攝影機配置,如數量、位置、角度等),以及感知模型網路(Perception Model,輸出任務預測結果,如影像分割、物件偵測等),達到攝影機最佳配置。如此可縮短展店時間且提升業者導入意願,並模擬各種可能的購物情境快速完成資料擴增,產生更多訓練資料提高模型辨識正確率,以提供顧客良好購物體驗增加回訪率。

      圖11 智慧商店攝影機自動化布建技術

      結論

      無人便利商店是一個嶄新的零售模式,除解決人口年齡老化和勞動力短缺等現實挑戰,也同時為消費者提供免排隊且自動化的購物體驗。市場前景十分樂觀,預計到2028年,無人商店市場規模將快速擴大,成為實體零售業的主要趨勢。本團隊的技術解決方案以人工智慧及物聯網為基礎,力求高精準度的辨識以提供消費者滿意的購物體驗,並藉由維運系統確保無人便利商店的正常運作,讓店員能夠迅速處理問題減少錯誤的發生。儘管還存在些許技術挑戰,但無人商店已經開始受到零售業者的青睞和消費者的歡迎,未來將朝著降低硬體成本和增加展店速度的方向發展,以實現「可獲利」和「可複製」的營運模式,也為消費者提供更便捷的購物方式。

      參考文獻

      [1] Omnico (2019), “92% of U.S. Consumers Frustrated When Shopping in Store.” [Online]. Available at: https://www.businesswire.com/news/home/20190808005419/en/Omnico-92-of-U.S.-Consumers-Frustrated-When-Shopping-in-Store
      [2] Extrapolate (2022), “Unmanned Convenience Store Market Size.” Available at: https://www.extrapolate.com/Retail/unmanned-convenience-store/25652
      [3] Klinghoffer, Tzofi, et al. "DISeR: Designing Imaging Systems with Reinforcement Learning," Proceedings of the IEEE / CVF International Conference on Computer Vision, 2023.