工研院資通所 蕭柏宣 楊雪屏 林昶宏 連俊宏

時尚產業在2018年為全球市場帶來高達3兆美元的產值，占全球GDP約2％，面臨購物型態的轉變，消費者購物習慣上逐漸轉往線上購買，服飾業者除線下實體門市外，也積極結合電商平台拓展線上市場。推薦系統能讓消費者在電商平台上媒合到想要的商品，直接影響了電商平台的銷售數字，電商平台目前主流的推薦系統如商品關鍵字搜尋、基於消費者瀏覽紀錄的商品推薦方法，本技術結合人工智慧的應用：服飾特徵標記、特徵分析、個人化風格穿搭推薦，讓Fashion AI如同實體門市的店員可以針對顧客喜好給予穿搭的建議，增加服飾的銷售額。

服飾推薦系統的問題

根據Segment報告指出，個人化推薦使49％的消費者購買預期外的商品，且有40％的人買了比預期更高單價的商品，若能投其所好給予適當推薦，將有效提升銷售額。電商平台常出現的推薦方式包含：基於用戶的推薦（User-based Recommendation）]與基於內容的推薦（Content-based Recommendation）]方法，但是這些方法在推薦服飾的應用上，存在著許多限制導致推薦效果不佳。

基於用戶的推薦：

基於內容的推薦：

新型態服飾電商推薦：風格穿搭推薦

為了解決目前服飾推薦的問題：1)缺乏服飾穿搭準則、2)服飾標記缺乏標準化、3)標記關鍵字人力成本過高，我們提出服飾標記技術透過深度學習學習服飾影像特徵，自動化標記服飾影像的服飾屬性，如款式、長度、材質、顏色，平台內部的服飾影像可以在一致的標準下標記服飾關鍵字。透過蒐集外部穿搭影像資料，例如Fashion Style-14穿搭影像資料庫[8]，與輔大織品系共同篩選出台灣常見的風格類別，我們提出風格穿搭推薦技術，搭配出個人化風格的服飾屬性組合，並經由服飾推薦引擎推薦至消費者觀看頁面。為了模擬如服飾店店員推薦的邏輯，本技術參考了服飾心理學中的服飾情境模式[9]，如圖1所示，將服飾拆解成服飾屬性，穿搭部分分成個人風格與群眾認知的場景2部分，個別蒐集反映個性的個人風格穿搭，例如保守、甜美、女孩等，也蒐集適合各種場景的穿搭，例如上班正式、度假休閒、運動等，讓消費者可以從2個面向來挑選服飾穿搭。

服飾屬性標記技術

本技術採用Apparel Classification with Style]、ImageNet]作為深度學習模型參數預訓練用途，用於建立較容易收斂且容易轉換成服飾屬性的模型。
Forever21 和Mogujie 為歐美與大陸流行服飾網站，為DeepFashion]服飾屬性資料庫的爬蒐的資料來源，包含1,000種服飾屬性，本計畫進行資料清理後，預計採用款式、圖樣、版型等屬性。此外，本計畫也收錄天池的服飾屬性資料庫，包含21種領口、7種衣長、8種袖長、5種褲長、5種裙長。顏色部分採用紡織品用的Pantone色板[10]，共有16種顏色。由工研院以及輔大合作自建40種服飾屬性資料庫，包含更多款式；領口、袖子、裙子、褲子，以及版型。

服飾屬性辨識技術如圖2所示，包含偵測與辨識兩階段，若偵測的位置越準確，可有效提高屬性辨識率。演算法首先偵測服飾位置（上衣、下著、全身），偵測區域後再對每個服飾區域，如領口、袖口、腰身等辨識屬性。除了服飾區域偵測外，本技術透過服飾影像屬性資料庫DeepFashion的服飾樣板點學習影像切割模型，學習切割外套與上衣的區域，切割後的區域可個別辨識如顏色、圖案、領口等局部服飾屬性。

由於通路商的服飾展示影像模特的姿勢與背景圖案較為複雜，在判斷服飾長度屬性時，常因模特的姿勢，如插腰、舉手、坐姿導致袖長、衣長屬性辨識錯誤，本技術導入骨架偵測技術，透過骨架的長度來解決不同姿勢下的如衣長與袖長屬性預測，透過標記額外的挽袖照片來增加挽袖偵測模型，排除挽袖下的長度預測。透過骨架的資訊也可以讓模型聚焦在領口的區域，透過注意力（Attention）機制[xx]提升領口屬性模型的辨識率。

風格穿搭推薦技術

風格穿搭推薦模組的輸入為單一品項的服飾屬性，以及風格ID，則輸出為適合該品項的服飾搭配，例如輸入上身的服飾屬性，則輸出該風格適合的下身屬性。本計畫參考服飾心理學，依照個人風格／合適場景推薦消費者合適的穿搭。當消費者選擇1件服飾，系統會先辨識該服飾的服飾屬性，依照服飾屬性挑選適合的風格，並依照風格推薦合適的穿搭屬性，系統基於穿搭屬性再從資料庫挑選相近的商品，並且推薦給消費者。

我們提出的風格穿搭推薦技術可分為4步驟:

(1)透過服飾屬性標記將影像依照區域（上身／下身）轉化為服飾屬性。
(2)服飾區域、服飾屬性經分類模型辨識出風格。
(3)選擇該風格的推薦模型，當輸入上身的屬性則推薦該風格的下身屬性，反之若輸入下身的屬性，則推薦上身的屬性。
(4)基於(3)的穿搭屬性組合，從資料圖庫中挑選屬性相近的服飾給予推薦。

風格穿搭推薦目前遇到的困難點：推薦出的結果需符合多樣性及合理性，相近的風格間可以互相搭配，例如：短裙可適用在性感風、女孩風等等，風格間差異太大則不適合搭配：例如襯衫不適合搭配運動褲。參考分類模型訓練後的結果，將分數相近的風格視為同一大群，如圖4所示，可提升推薦效果。另外一個困難點為：既有的140種屬性無法完全表現出風格，特別是服飾的材質，往往容易決定服飾所呈現的風格，未來將持續擴充屬性的數量，進一步提升風格辨識及推薦的準確率。

此技術目前已與國內大型綜合電商業者合作，應用於服飾平台的推薦系統，並於2020年6月 上線營運。如圖5所示，當消費者點選上身服飾時，風格推薦模組依據屬性結果，推薦適合的風格及下身搭配，可提供更貼近消費者喜好的穿搭建議。

科技導入電商 強化線上消費體驗

作為服飾電商能精準預測消費者的喜好並準確投放正確的商品，未來將廣泛的大型綜合電商市場透過AI人工智慧應用深入單一產業經營，於廣大的領域中求深入型經營，做到更精準的行銷策略，不論是透過話題吸引消費者亦或是個人化穿搭推薦皆能提升營銷效率與客戶體驗；從消費者的角度而言可快速找到符合自己的產品及穿搭風格，進而提升整體外觀形象。以電商層面探討，能提升個人化推薦、輔助決策、供應鏈管理等，創造雙贏商機，提升產業領域新市場。

聯絡資訊：陳明彥benjamin@itri.org.tw

[1]. Segment Website. [Online].https://segment.com/?ref=nav
[2]. https://medium.com/@cfpinela/recommender-systems-user-based-and-item-based-collaborative-filtering-5d5f375a127f
[3]. https://ithelp.ithome.com.tw/articles/10219033
[4]. Bossard, Lukas, et al. "Apparel classification with style." Asian conference on computer vision. Springer, Berlin, Heidelberg, 2012.
[5]. ImageNet Website. [Online]. http://www.image-net.org/
[6]. DeepFashion Website. [Online]. http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html
[7]. 產業分析：成衣及服飾品製造業（2019年）. [Online]. http://www.twtrend.com/share_cont.php?id=79
[8]. M. Takagi, E. Simo-Serra, S. Iizuka, and H. Ishikawa. What makes a style: Experimental analysis of fashion prediction. In Proceedings of the International Conference on Computer Vision Workshops (ICCVW), 2017.
[9]. Damhorst, Mary L. Dress as Nonverbal Communication in ‘The Meanings of Dress’, Eds Mary Lynn Damhorst, Kimberly A. Miller-Spillman, Susan O. Michelman. Fairchild 2005
[10]. https://www.pantone.com/color-finder