工研院資通所矽谷顧問 王南雷 (Plug and Play Tech Center EIR (Executive in Residence), Founders Space startup advisor）
自從2012年image net challenge得到進展後，DNN（Deep Neural Network）就帶動了人工智慧的發展。過去幾年，沒有與人工智慧/AI沾邊的題目好像就沒有機會了。配合著cloud/data center的成熟，DNN在訓練（training）與推論（inferrence）需要的大批資料、運算量等，得以順利進行；但是對速度、耗電等性能要求，也顯示了幾年前的硬體無法滿足市場需求。因此AI晶片成為潮流，不論大公司或新創都大批投入。本文就此趨勢從矽谷的觀點做些討論。
AI市場
自從DNN引領人工智慧火熱的發展，新創公司就不斷的冒出，涵蓋的市場面向只能以“無所不在”來描述。在過去一兩年，好像沒有與AI、ML等名詞掛鉤就不夠“潮”。
這些新的努力幾乎都是在應用市場面，從金融、旅行、供應鏈、運輸、健康..... 等，可謂無所不在。典型的情形就是透過跨領域的合作，尋找出目前市場的痛點，利用AI來找出突破性的解決方案，能夠以節省的時間、金額等客觀方式，證明新的解決方案的確有顯著的優勢。
隨著大家對人工智慧的基本了解的普及，大公司、新創公司也不再強調使用AI了。畢竟有些情形，使用“傳統”的方法就能夠解決眼前的商務苦惱，而AI還不見得是最有效的立即手段。這方向也算是趨於實際，過了hype的這一道關卡。同時我們必須了解，市場需求是驅動的因素，人工智慧只是工具（之一），而非萬靈丹。
這些新的市場做法，不僅在B2B，B2B2C,透過federated learning即使B2C也能處理推論和訓練。普遍的技術挑戰在於資料的獲得、正確地labeling、訓練以建立模型、推論，edge computing。這也帶出另個相關的努力方向，就是AI這個工具的相關輔具，包括data labeling，data的蒐集，甚至data的“人工產出”。
實際的例子，在data labeling上，有早期的新創，外包data labeling到美國之外的低工資地區去做。在data的“人工產出”，例子如一家新創公司，原來是做AR/VR裡的3D模型，之後轉型，利用3D模型，產出多角度的2D影像給AI的data set。
更少數的新創，是提升DNN的基本能力，例如“解釋DNN為何提供這樣的答案”（explainable AI）。
晶片的起伏
進入21世紀的第二個10年，矽谷裡投資“矽”的機會越來越少，最後在這10年的中期，基本已絕跡。因為internet在2000年左右的興起，帶動了所有相關軟體的需求與發跡。同時IC的發展速度仍能依循Moore’s Law，配合cloud的發展，因此有一段時間，硬體能夠滿足軟體的主要需求，造成沒有市場痛點也就沒有投資的機會了！
但是隨著AI的快速發展，運算速度，資料讀寫成為瓶頸，耗電量，edge device的不同性能要求，也造成了對新的AI晶片的需求。過去幾年對AI晶片的投資大幅的展開，包括目前市場上的大公司（nVidia, Intel, AMD, Xilinx, Google, Apple, IBM, Qualcomm...）的內部及外部投資，及眾多新創。隨意在網路上搜索一下，就能找到50-100家的訊息。
這波IC投資也有它的挑戰。過去10年的IC投資低潮期，造成了對IC行業投資熟手的缺乏，加上在風口上，連豬都能飛了（也就是Hype Curve的頂峰），眾多的AI晶片新創，到底誰能夠勝出的議題，也越來越常聽到了！
AI晶片的市場
如果我們看看得到最多投資的幾家新創，也能學習到不少市場的風向；這些公司得到的投資金額，在美金$50M 到$100M 以上。包括Wave computing, Cerebras systems, Graphcore, SambaNova Systems, Mythic等。大陸的投資也不少，如寒武紀，地平線，另外深鑒在2018年被Xilinx收購。
- Wave Computing: 宣稱用同一個架構同時滿足data center和edge。但是公司也轉向了，併購了MIPS，理由是多數ADAS系統是用MIPS， 也承認data center 和 edge的需求不易以同一個架構來滿足。
- Cerebras systems，它宣稱要做wafer scale engine，也就是chip比任何市面上的die size要大到56X以上！裡面的compute, memory, communication bandwidth，都遠大於競爭對手；也因此能夠讓AI研究達到以前無法想像的速度與規模！
- SambaNova：這是兩位Stanford教授及一位資深業界IC設計領導所創立的公司，產品針對data center，細節則沒有透漏。它的投資者包括Google創投。
- Graphcore, 它的IPU (intelligent processing unit)可以透過IPU-Links組成clusters，在Poplar software stack下，成功的組成 IPU Server (Dell) ,或裝置進雲端(Microsoft Azure)。它的code也發布在Graphcore GitHub，客戶都能用來驗證性能。IC架構是從頭開始的新設計（沒有討論細節）。公司也宣稱，它的設計是針對image及NLP，並有新的方式來評估性能！
- 前四家都針對server/data center 市場。Mythic則針對edge，它的特點在，compute in memory, data flow architecture, analog computing. 也將DNN轉成8 bit 的推論運算，但是能夠維持精確度。Low latency, high performance per watt 是當然。此外它的chip可以單獨使用，也可以組成高性能的整機。
Mythic的網站裡有大篇幅介紹多個應用市場。
從這幾家我們就可以看到幾個重點：
- 每家公司都有明確的市場方向，及競爭特點 – 包含技術特點
- 每家公司都有客戶鏈結
- Pivot，是新創的常態
矽谷投資人如何看待AI晶片新創
已經有了幾十，甚至上百家的AI晶片新創，矽谷的投資人如何看待這個市場呢？其實投資人從來就不投資技術，而是投資到市場的需求。現在這個思維與台灣過去40年強調技術差距很大。
包含工研院，經常是開發技術，然後尋找市場。在缺乏市場鏈結的情形下，發展“平台”似乎是最容易的做法了。但是誰要用一個尚未建立使用者的平台呢？這是雞生蛋、蛋生雞的矛盾。在矽谷，任何新創都需要從客戶開始。比如Amazon是從賣書開始，到現在無所不賣的平台；eBay是從拍賣開始，到現在也是無所不賣的平台。這些都是T型策略。
另外，在PC時代，有無業界標準呢？其實WinTel（微軟與Intel）要做的就是業界的標準了。因此台灣的公司跟著老大哥就能滿足市場需求了。WiFi, 藍牙，5G，都有標準。但是AI的應用市場可就沒有標準了！怎麼做呢? 我們可以參考MTK的做法。在手機的chipset，MTK一定做出完整手機的參考設計，雖然手機是有標準的，客戶其實是向MTK學習；但是客戶必須掌握銷路及市場。
矽谷的新創怎麼做呢？先辨識出一個夠大的市場，了解市場的痛點（需求），確認誰是重要的客戶；可以是消費者，也可以是公司。用MVP（minimum viable product）來建立商務關係，從客戶回饋來修正方向及技術需求，提供完整解答方案，明確自己solution的競爭優勢。並以執行速度來開發市場；在第一個灘頭堡建立後，擴展到其他的相關市場：就是前面提到Amazon, eBay的做法，也是現在Uber進入Uber Eat，及micro-mobility的做法。
因此投資人都是在問business traction及業務展望。技術，只是due diligence中的重要一環。新創提供的solution，必須能夠應用在足夠大的市場，並且擁有明確的競爭優勢。
開發一個AI晶片，不是只做晶片而已，而是要做一個solution。比如做給edge使用的人臉辨識晶片，針對公司/工廠門禁使用（這個市場夠大嗎？），必須要有訓練DNN model的相關軟體，以及智慧相機實際在門禁使用的應用記錄，及它的競爭優點（請不要講me too及cost down），爭取到第一個客戶。
這樣就很有機會滿足上述投資人的期待了。當然，在超過50家以上的新創及大公司之後，尋找出大市場，solution及競爭優勢是更形挑戰了！
DNN AI晶片市場的未來
當DNN AI晶片市場已經準備滑落Hype curve往谷底時，明顯地有兩條路可以選：
- 能提供一個與目前DNN AI晶片不同且有明顯優勢(10X?）的solution
- 做下一代的技術，以目前AI晶片作為練兵，比如Neuromorhpic computing IC。
幾年前，有緣當面聽到前Stanford校長John Hennessy說：20世紀高科技新創只要有好技術就很有成功機會，但是21世紀高科技新創得要先問誰是願意付錢的買家?
最後，感謝Jean-Claude Junqua, PnP EIR,分享他在AI領域的觀察及投資經驗。
本文依據筆者在矽谷透過當地加速器聽到一年1000-1500家新創的pitch與多家訪問，以及過去4年多與100家台灣新創互動的經驗，分析而得。所有資訊都是從公開來源所得。
