工研院IEK 范哲豪

AI連網設備趨勢由雲端往邊緣運算轉移，宜把握商機發展AI邊緣運算推理晶片

從CES 2018發布的新產品可以看出，越來越多的AI連網設備為了解決網路頻寬有限、通訊延遲、缺乏網路覆蓋、資料隱私與機密…等需求，對終端AI運算能力的需求越來越高。因此各大晶片廠商都在開發各自的AI邊緣運算晶片。原先僅由雲端運算的產品有轉向部分交由終端運算處理的趨勢，2018年可以說是人工智慧的邊緣運算年。

CES 2018產品趨勢

由CES 2018觀察，傳統3C已成長趨緩，成長動能由智慧裝置接手。CES展會的主辦單位CTA預估2018年美國市場出貨量，筆記型電腦、智慧手機與TV出貨量分別是5010萬台、1億8900萬台與4402萬台，三者都僅有2%~3%的成長，而平板裝置出貨量為4560萬台，甚至衰退12%，成長較高的有智慧音箱、智慧家電、AR/VR與無人機，出貨量分別是4360萬台、4080萬台、490萬台與370萬台，且都有超過20%以上的成長率，智慧音箱的成長率甚至高達60%。這些新興的應用都與物聯網甚至是人工智慧有高度相關。

圖一 2018年美國消費性電子市場預估，新興產品與成熟產品

2018年CES大展產品變化可以歸類出五大趨勢。首先是1.聲音（Voice）：Google大張旗鼓加入戰局，而Alexa仍舊是隱形冠軍，Cortana則緊接在後，未來的人機介面、聲控、語音助理都可看到這三家大廠的布局；2.人工智慧（AI）：AI電子產品逐漸進入我們的生活之中，也有越來越多的AI專用晶片推出；3.萬物互聯（IoT/IoE）：自駕車、智慧家庭、機器人、穿戴裝置等裝置的相互連接；4.交通工具轉型：電動車、車聯網、自駕車的「新車大展」及商業模式的改變、無人機外觀進化；5.生活數位化：AR+VR=MR （Mixed Reality）、VR無線化趨勢等。

圖二 CES 2018產品變化五大趨勢

自駕車仍是此次CES最受矚目的展示項目

由於各國法規漸進開放，驅動自駕車市場持續成長，各大車廠皆展示自家最新技術及車款。例如日產（Nissan）的LEAF已具備歐規有條件自動駕駛（Level 3）的駕駛系統與電子油門系統（e-Pedal）；概念車IMx則首創B2V（Brain-to-Vehicle）技術，可解讀駕駛的心情狀態，在手動駕駛模式時預測駕駛者的行為，在自動駕駛模式下偵測駕駛者的不適，進而改善並營造出更愉快的駕駛體驗。
豐田（Toyota）的Concept-i概念車，則搭載「Yui」AI系統，可學習駕駛用車模式與習慣，並可依據不同駕駛做出不同回應，預計在不久的將來可實現歐規完全自動駕駛（Level 5）的目標。
中國大陸新創業者Byton，擁有Level 4程度的自動駕駛系統，預計2019年就會在中國開始量產。另外，就好像iPhone X一般，車門使用臉部辨識系統解鎖啟閉，且車內搭載超大尺碼螢幕，並支援手勢與語音控制功能，最大續航力達500公里以上。
此次CES展車廠及相關零組件的參展家數成長至19%，顯示自駕車將進入快速成長期，汽車可望以自駕技術而走向智慧化、自動化、電動化與共享化時代。
2018 CES大展趨勢可分成兩大部分，第一是國際半導體大廠強調生活應用和使用者體驗，第二則為人工智慧（AI）當道、智慧移動應用為願景。

AI邊緣運算專用晶片成產業焦點

從CES 2018看AI產業趨勢，如果說人工智慧的發展前期主要集中在雲端（Cloud），那麼接下來的發展趨勢將會往邊緣（Edge）轉移。這個轉移有四大好處：第一是終端的回應速度大大提升，比如針對一些車載系統的智慧應用，如ADAS應用，如果通過雲端計算處理，再把資料從雲端傳回來的速度會比較慢。第二是如果把資料放到雲端，隱私也非常容易暴露。第三是目前的上傳流量資費成本也很高。第四是相對伺服器端，終端的功耗會更低。實際上目前雲端伺服器的用電量已經達到全球電力的5%。從環保節能的角度來看，AI從雲端往終端的運算轉移也會是一個潮流。
AI邊緣運算定義為將運算工作放在靠近終端裝置的運算設備或終端裝置本身上，終端裝置不需仰賴雲端運算即可獨立運作。

圖三 將運算工作由雲端轉移至終端或近端，稱為邊緣運算

由於AR/VR，自駕車，無人機與安防監控系統對AI邊緣運算的需求與日俱增，預估全球邊緣運算的市場規模將從2017年的8，024.5百萬美元，大幅成長到2022年的13，313.7百萬美元的規模，年複合成長率（CAGR）達10.7%。

圖四 2017~2022全球邊緣運算市場規模

多元分眾為主要趨勢

Intel表示，大數據浪潮（Flood of Data）已經來襲。至2020年平均每個網路用戶每天會產生1.5GB流量，自駕車每天會產生4.0TB資料，連網飛機每天產生5.0TB資料，而智慧工廠每天產生的視訊資料量更高達5.0PB。上述這些龐大的資料再經過AI運算，讓裝置更智慧化，人類生活更美好。
因省電及各種應用需求不同，AI邊緣運算晶片從通用晶片走向分眾專用化。如在智慧手機市場，蘋果的A11 bionic晶片、華為（海思）的麒麟970晶片。自駕車方面，如Intel（Mobileye）的EyeQ5晶片及Nvidia的Xavier SoC。未來不論是智慧音箱、無人機、機器人、AR/VR、智慧監控…等新興應用，都需要分眾專用化晶片。
分眾專用化晶片需要同時對系統規格、晶片硬體架構及軟體演算法做最佳化，因此各家廠商佈局策略各有不同，如蘋果與華為採用垂直整合（採用自製晶片），而Intel則以併購方式（併Nervana， Movidius， Mobileye…）獲得所需IP。

圖五 大數據浪潮來襲，需要分眾化AI邊緣運算專用晶片處理

AI平臺本身在晶片設計上也要滿足一些特殊的需求，比如性能和功率的平衡。由於AI演算法的演進非常快，硬體的性能要能夠跟得上演算法的變化。

AI晶片大致上可區分為CPU、GP-GPU、FPGA、ASIC、NE SoC等不同架構，各種架構各有優缺點，但一般來說GPU在雲端運算仍具有優勢，在邊緣運算方面如FPGA是演算法未定型前的最佳選擇，ASIC因功耗低及量產成本低將是多數應用長期發展的最終目標。

圖六 GPU/FPGA/ASIC產品特性分析

AI邊緣運算專用晶片，國際大廠發展現況

1. 英特爾（Intel）
在自駕車AI晶片上，英特爾開發的 EyeQ5 SOC 晶片，在子公司 Mobileye 先進技術加持下，宣稱其深度學習效率是對手的 2.4 倍。EyeQ5 支援全自主駕駛（Level 5），Mobileye 預估 2020 年就會有搭載 EyeQ5 晶片的自駕車上市。英特爾與 Google 母公司 Alphabet、BMW 與汽車零件供應商 Delphi 在自駕車方面都建立合作關係。

圖七 Intel推新自駕車平臺

2. 寒武紀（Cambricon）
寒武紀為中國科學院計算技術研究所背景，擁有終端 AI 處理器 IP 和雲端AI 晶片兩條產品線。2017年底寒武紀發表新一代AI晶片，包含針對低功耗場景視覺應用設計的寒武紀1H8、擁有更廣泛通用性和更高性能的寒武紀1H16，以及可用於終端人工智慧産品的寒武紀1M。與傳統晶片不同，寒武紀的人工智慧晶片模擬大腦的神經元和突觸，一條指令即可完成一組神經元的處理。這種計算模式在做智慧處理時，比如識別圖像，效率要比傳統晶片高出很多。另外，寒武紀專門為用戶打造的寒武紀人工智慧系統軟體“CambriconNeuWare”，支撐端雲一體的智慧處理。軟體開發平臺構建於寒武紀全新的人工智慧專用指令集支撐之上。此外，寒武紀科技也發表專門針對智能駕駛的寒武紀1M處理器。

3. 聯發科
聯發科技在AI領域的佈局其實很早，佈局的技術包括視覺識別（AI Vision）和語音辨識（AI Voice）。聯發科在2018年 CES 宣佈針對消費性電子產品的人工智慧技術與平臺 NeuroPilot ，基於聯發科 AI 處理器、軟體搭配 NeuroPilot SDK ，提供包括智慧手機、智慧家庭到自駕車所需的人工智慧解決方案；NeuroPilot 目標為提升終端 AI 運算效率，並在多樣產品平臺透過 AI 提升功能與品質，當然也支援主流的 AI 框架如 Google 的 TensorFlow 、 Caffe 、 Amazon 的 MXNet 、Sony 的 NNabla 。

NeuroPilot採用的就是透過AI處理器的方式，把目前已知的比較固定的80~90種演算法固定到APU中，剩下一些一直演進的10個演算法會放到CPU中，從而兼顧彈性和效率。

圖八 聯發科AI平臺（NeuroPilot）

CES觀察硬體之新興技術需求

從CES大展的新興產品與半導體大廠發表的技術觀察，後摩爾定律世代（Beyond Moore’s Law），新一代運算架構創新方興未艾。物聯網、大數據與人工智慧（AI）應用，將成為全球戰略級核心技術。要實現深度學習模型推論，首先必須能提供充足的運算處理資源、大量的記憶體，以及高頻寬的處理器與記憶體的存取資料界面，為提供物聯網終端應用，如邊緣運算（Edge）、終端元件運算（Device）均需求完整解決方案。並且以新材料、新技術來創新更高性能、低能耗、相容於現有製程同時具備成本優勢的製造形態，以量子運算為基礎的全新運算架構。

圖九 新一代運算創新架構

RISC-V架構是Wintel與arm CPU架構之外，快速崛起的第三發展路徑。由於RISC-V架構具備模組化、極簡、可擴展的特性，平均每瓦效能優於ARM （Nvidia產品驗證），且在成本上免授權費，架構也可修改，未來新興應用客戶在定製化AI設計方案時的採用率越來越高，開源架構RISC-V生態已逐漸成形。2016年RISC-Ｖ基金會成立，目前加入80多家科技公司包括：Google、高通、蘋果和Tesla，台灣聯發科、晶心，中國大陸的華為、杭州中天微等。RISC-V提供新的架構，未來將滲透各行各業應用，如AI、無人駕駛汽車、VR/AR、機器人等，尤其是客戶定製化設計，擁有龐大的市場需求。

另外，以馮紐曼架構性能常受到記憶體頻寬限制，因此整合記憶體與運算系統日益殷切。新材料與新記憶體元件之開發；IBM即利用鍺（germanium）銻（antimony）碲（telluride）合金堆疊的相變化記憶體來達成，IBM所開發並展示的具儲存記憶功能的運算元，已初具類比特性之AI運算元件（類似大腦執行一般，記憶功能存在於神經元/突觸之中）。並強化TSV異質整合技術，新興記憶體所需的立體堆疊式結構，以及矽基量子晶片，都需要透過TSV（矽導通孔）封裝技術來加以實現。

傳統的超級電腦已不敷需求挑戰，本次CES中IBM與Intel相繼推出量子電腦相關解決方案，主要在處理深度學習越來越複雜的運算。目前國際大廠藉由與傳統電腦的結合（Hybrid），提供雲端運算服務平台，如IBM Q。一般認為，量子電腦預計先會被應用於4個領域：材料科學、藥物動力學、加密通訊和人工智慧等。建立量子運算軟硬體模型，發展特定應用演算法與機制：可先運用國際現有的量子電腦技術平台，例如D-Wave或是IBM等，並結合自然科學領域（數學、物理）及工程領域（電子、電機及資訊工程）的學者，並可與先進國家進行國際合作，是台灣目前可行的做法。

圖十 新興技術將為產業鏈帶來新風貌

結本文，從CES 2018看AI產業趨勢，發現AI晶片有往邊緣（Edge）轉移的趨勢。相對於大廠寡佔雲端運算的CPU及GPU晶片，由於終端產品的多樣性，台灣也確實較有機會發展AI邊緣運算推理晶片。
對台灣AI晶片產業影響：分眾專用化AI晶片需要大量的資料作為訓練之用，雖然台灣沒有大型終端產品或電商公司，但智慧醫療（X片影像協助判讀…）或智慧交通運輸（輔助駕駛或智慧交通號誌…）仍有獨特的數據可以開發分眾專用化的AI晶片。
台灣AI晶片產業發展方向：1.提升邊緣運算晶片的運算效率，並支援業界現有類神經網路（Neural Network）框架，如Google的TensorFlow、Intel的Caffe、Amazon的MXNet、Sony的NNabla、Microsoft的CNTK等。2.在多樣性產品平臺上實現AI，如跨作業平臺方案將AI應用在台灣有優勢的利基市場。