酷手科技 吳季剛
人機介面的本質，還是在於人如何把自己的資訊或是需求轉達給電腦。而所謂的最佳人機介面，其實是取決於應用情境而不是科技的新舊。在電腦初發明的時候，當時的科學家用打洞的紙卡片做輸入，這種IBM公司發明用以與最初的電腦溝通的人機介面，其實大概大部分人近年都還使用過。最早人與機器是怎麼互動的? 大家不知道有沒有聽說過，最早IBM做出來的人機互動，是一種有打洞的卡片。電腦讀取這種打洞卡，來做輸入電腦的動作。
不過其實我們現在還有在用這種介面的變形，正在讀這篇的讀者可能都用過。
我們在聯考與考多益時所使用的電腦答案卡，就是這種介面的變形。
卡片介面有兩個特性：
其一是可以一次寫完，然後能夠修改。
其二是可以批次處理大量資料。
因為當年電腦剛剛被發明出來，大家也不太會用，所以交出去的程式要經過人眼Review，而電腦的性能也不如今日，資料必須批次處理，所以畫卡的方式是用當年的電腦輸入介面，而也很適用於今日的考試，必須可以修改，且必須批次處理的特性。
自然，大家所熟悉的人機互動介面，其實是鍵盤與滑鼠。滑鼠這種操作方式，幾乎與我們知道的”個人電腦”的歷史一樣久，而鍵盤這種輸入方式的歷史，則比電腦還要古老。而我們就一直用到了現在，因為在桌上型使用情境的環境下，效率最高的輸入方式，至今仍然是鍵盤，而桌上型的使用情境大部分為工作，效率是這種使用情境下最重要的因素，故比電腦還要古老的鍵盤是最好的桌上型人機介面。其實最好的人機介面，未必要是最新科技。而是最適合該種使用情境的技術。
另外可以舉一個例子，以觸控介面為例，觸控並不是非常新的技術，但是移動裝置是新的應用情境。在移動裝置的應用情境下，介面必須可以不斷變形，不斷去適應當下的特殊應用，輸入效率並不是最重要的。反例如黑莓機，黑莓機將整個鍵盤都裝到移動裝置上，但是依然沒有辦法適用於每一種移動裝置會出現的狀態。而另一個方向的反例則是如下圖的平板外插件，觸控螢幕在做文書處理時，其輸入效率就不及鍵盤了，故在這張圖是在做文書處理的情境下，還是必須使用鍵盤做輸入介面的狀態。
上文舉出了三個例子，三種不同的技術，都不算是最新科技，對應到三種不同到現今仍在使用的應用情境。在需要人力修改，而且批次處理的情境下，卡片式的界面是最適合的輸入介面；而在需要高效率、固定桌面式的使用情境下，鍵盤滑鼠便是至今仍最有效率的輸入法；至於移動式裝置需要不斷變形且應對不同環境的使用情境，則最終證明觸控裝置是最佳的輸入法。所以，最佳的人機介面不一定就是最新科技，而是最適合該種使用情境的技術。
手持式輸入介面用於AR/VR的發展與局限
那用於VR或AR，或是更廣泛一點談，用於頭戴式裝置(Head Mount Device)呢？
一般狀況下VR與AR雖然常常被混合在一起講，但是其實VR與AR的情境與限制還是不一樣的。VR使用時的特性在於，他的視覺表現是受限的，所以在視覺受限的環境下，你可能會找不到按鈕。擴增實境，也就是AR的使用情境問題，則是在於其運作的環境可能頗為受限，會有各種的背景問題，然後虛擬物件還要跟背景融合。
在這種環境下，現行的VR解決方案是用手握持遙控器進行控制。此種控制方式最早見於近十年前展出之Wii遊戲控制器。其特點在於可以進行三維的立體操控，並可以以控制器上的按鍵進行控制。手持控制器的空間足夠以放入足夠容量之電池以維持長時間使用，由按鍵控制的互動事件也容易讓使用者理解。
但是手持式控制器的問題有二：
如前述，人機介面的好壞與應用情境有關，有部分的VR情境，比如說籃球遊戲或其他的球類運動遊戲等應用，便不適合使用手持式控制器。
控制器上之按鈕，不能複雜，若在VR視覺受限的環境下，相當容易會找不到按鈕。
影像輸入控制介面用於AR/VR的發展與於局限
而目前很多的解決方案，是採用類是影像辨識的方法，辨識使用者的手勢動作來進行控制，影像辨識的優點，在於不需要使用者手持裝置。目前在AR領域的HoloLens、以及以Leap motion方法用於VR的操控皆屬此類解決方案。
然而此類方案亦有二大問題：
- 影像辨識不比人體的本體感覺，超出影像範圍或是有交疊與多人使用的狀況下，影像辨識將不易有效的辨識使用者動作。
- 在戶外使用AR裝置時，其效能將受太陽光影響。
人機介面的聖杯與折衷方案
在電影《駭客任務》與漫畫《Ghost in the Shell》裡，所有人類與電腦世界都可以靠著與腦部直接相連的導線連接，這是腦機介面，也許是未來的終極人機介面吧，但現在還太早。而在《StarWar》中，天行者路克斷手後，接上了一個可以與手部神經相連接的義肢後就能行動如常，這種連接四肢動作神經的科技，似乎容易實現的多，也可以突破影像的範圍限制。
在2013年的Kickstarter上，有一項創新產品展開募資。其恰恰是解決室外穿戴式裝置輸入介面的一種路線，其為由加拿大團隊開發，以辨識前臂肌肉電訊號(electromyography, EMG)為主的“MYO”。
在以辨識前臂肌肉電訊號為主的技術，最早可以看到的想法在2009年由微軟團隊以”彈空氣吉他”發表的肌肉電腦輸入介面(Muscle-Computer Interfaces , muCIs)，其團隊當時之技術以EMG為基礎，針對以拇指對應食指、中指，以及無名指之對指動作進行辨識。其團隊於2010年曾發表論文，宣稱其可以實現80%對指動作的辨識準確率，而且也有展示結合觸控面板的應用情境。微軟muCIs團隊在展示的過程中，使用的裝置為需要使用導電膠增加並穩定皮膚表面導電性的濕式電極EMG，距離商業化產品尚有距離。或許因此，微軟於2010以後便無釋出該團隊的進一步消息。
而在2013年中。由加拿大的新創公司Thalmic Labs發表的概念產品MYO，是以附著於前臂的八個乾式電極EMG，結合慣性感測裝置進行使用者手勢辨識，由於超炫的展示影片以及看來頗為前瞻的概念，於Kickstarter一炮而紅，短期內便快速募集了110萬美元的資金，就連知名的頂級矽谷加速器Y Combinator也參與了投資以及大廠Intel均參與投資，至2016年底累積投資額已超過1.3億美元。在其發表的概念影片中展示了使用手臂肌肉進行手勢辨識操控機器人、電子產品、以及頭戴式攝影機的數種應用情境，在戴著厚重手套或是手部可能須執行其他作業的情況下，十分適合由附著於前臂的裝置進行手勢輸入控制。然而，以目前之資訊來看，MYO手環尚有許多問題可能必須解決。
以技術角度來說，首先為EMG感測裝置的定位問題，由於EMG訊號尺度為Mini Vote，其感測裝置須對準欲量測肌肉，可能有人因工程上的問題必須解決。且人體體表並非一電性穩定之環境，若採用目前公開資訊中的接觸式乾式電極EMG，則使用者於使用過程中之出汗將會大大改變體表導電性，從而使訊號狀態改變，若非於前端感測系統進行補償校正，則需於後段採用適應型辨識模型，均為增加成本與開發難度之工作，在MYO手環僅售149美元之前提下實屬不易。而在專利佈局之角度，微軟於2008年已佈下EMG手勢辨識應用之相關專利US8,447,704、US8,170,656虎視眈眈。
若MYO可以解決前述之技術與智權問題，則由於肌肉輸入裝置其可辨識之動作除了可見之外顯動作外，尚包含如”握拳鬆緊之用力程度”之類無法由攝影機或是一般慣性元件訊號所測得之資訊，因此其搭配穿戴式產品，甚至涉足居家用市場則皆屬可期。
工硏院新創公司酷手科技在研究了市面上相關各種技術後，發想出了採用肌肉的振動訊號(MMG)，來進行與機器互動的基礎技術，也就是2016年得到國家發明獎的專利技術I490011。其技術特點在於通過與手部的神經肌肉訊號相連，可以不需要按鍵；而且其不使用攝影機，不受太陽光與戶外環境干擾；其原理也不是與皮膚直接通電，不怕皮膚出汗。使用此一的解決方案，使用者將可以不需要手持裝置，可以直接以手環方式與VR裝置互動以進行球類等互動遊戲，或是像布袋戲一樣，出掌或伸指，人就可以在虛擬世界裡發出掌氣指風。
而不僅僅是在虛擬的VR世界，通過此一類的技術，人也可以與現實世界互通。在動漫影視作品中，人與電腦連線的結果並不都是人被電腦所控制，人的機能也可以突破原本體能與感官的限制得到提升。借由此類的技術串連人體與機械，人可以彈指尖就控制電腦替他作業，甚至不須要開口也不須要做出大動作。而未來通過這種技術，人可以直接以肌肉神經訊號串連機械、串連環境、串連他人甚至串連人工智慧，將可能達成人類體能與知覺上全面的擴張或或是說進化，是一種被稱為Human Augmentation的全新領域，這就應該是我們當年設想出來，通過神經肌肉訊號令人與機器連接的真正應用-讓人類可以透過科技的使用而進化。屆時人類應該就真的可以像小時候電視劇裡的神仙、布袋戲裡飛天遁地的仙俠、七龍珠裡的外星人一樣，在體能、知覺、智慧上超越現在人類能想像的地步。
