探索AR世界人機互動的未來 Facebook分享腕式互動運算平臺
手指點擊等輸入方式讓人們與適應式介面互動或與機器溝通。（Facebook提供／黃慧雯臺北傳真）
在智慧型手機的使用者介面之後，人機互動 （HCI, Human-computer interaction）的下一階段將是何種面貌？爲了探索在擴增實境（AR）環境中最有效的人機互動方式，Facebook特別公開了近期針對腕式輸入（Wrist-based input）的研究成果，提前對外展示未來人機互動介面的可能性並帶來新的想像空間。
Facebook Reality Labs（FRL）研究室正在打造一種AR介面，讓使用者們不用因操作裝置而被迫忽視周遭環境。致力於將人與人連接起來並且提供有意義互動的Facebook正在開發更自然、更直覺的方式與隨時可用的 AR 眼鏡進行互動，並且相信這將改變人們與四面八方的人羣聯繫的方式。
Facebook指出，AR 眼鏡不像手機一樣會將注意力帶往掌心周圍，而是會如實呈現眼前所看到的世界，將人視爲核心來打造運算體驗，並將數位世界以 3D 樣貌呈現在人們面前，協助人們在真實世界中溝通、探索、學習、分享和行動。
Facebook認爲未來人機互動（HCI）需要一個超低摩擦力、容易上手、極度可靠且保有隱私，同時還能讓人們跟現實世界隨時保有完整連結的介面。這種介面需要多種創新，才能成爲人們與數位世界互動的主要方式。其中最關鍵的兩個要素爲：能理解你的指令、行動、情境與周遭環境的情境感知 AI，以及讓你毫不費力就能與系統溝通、發出指令的方式 —— Facebook稱其爲摩擦力極低的輸入方法。這樣的AI 會根據對人們和其周圍環境的理解，對其在不同情境下可能需要的資訊或想做的事情進行深入推斷，併爲人們提供一套量身打造的選擇 ── 這種輸入方式毫不費力，如同稍微動個手指頭就能點擊一個無處不在的虛擬按鈕一樣輕鬆。
但這種系統還需要很多年的時間纔有可能實現；因此，當前將要探討一個近期較可能實現的版本：腕式輸入結合功能有限的情境感知 AI，也就是可依據人們當時的情況和環境動態調整。
FRL Research（當時的 Oculus Research）在六年前成立時，便開始爲 AR 眼鏡構思理想的輸入裝置。結果發現：第一，現今沒有任何裝置可滿足上述所有標準。第二，任何解決方案最終都將會是戴在手腕上的裝置。
【爲什麼是腕部穿戴裝置？】
爲何一定要是手腕穿戴裝置？傳統來說，手腕是佩戴手錶的位置，意味着其可以合理融入日常生活和社交面向中。此位置既舒適也適合全天候佩戴，也與世界互動的主要工具「雙手」在距離上非常接近；也比語音輸入在隱私性上更爲出色。如此近距離能讓Facebook將雙手靈活的操作能力融入 AR 中，實現直覺、強大且令人滿意的互動。
而腕式穿戴裝置還可搭配 EMG 成爲最具潛力的理想解決方案。 EMG — 也就是 Electromyography 肌電圖 — 使用感應器，將從脊髓通過手腕流向手部的運動神經電訊號轉化爲數位指令，讓人們能借此控制裝置的各種功能。這些指令可以讓用戶向裝置傳達清晰的一位元指令，這種控制能力具有高度個人化的特性，可以適應多種情況。流向腕部的訊號非常清晰，EMG 因而能夠推斷小至一毫米的手指動作。這代表輸入過程將毫不費力，該裝置最終也許還能在用戶移動手指之前即感應到其意圖。
腕式穿戴裝置還可搭配 EMG，在AR中成爲最具潛力的理想解決方案之一。（Facebook提供／黃慧雯臺北傳真）
起初，EMG 僅能開創一或兩個控制點，Facebook稱爲「點擊」，相當於點一個按鈕。在 AR 中，你將可觸摸並移動虛擬的使用者介面與物件，就像你在示意影片中看到的，你將可控制遠距離的虛擬物件。有點像是擁有像是原力的超能力。
這仍僅是開端，最終很有可能人們可以在桌上或膝蓋上用 EMG 高速打字 —— 甚至可能比今日現有的鍵盤速度更快。初期的研究非常樂觀，事實上，當 CTRL-labs 團隊在 2019 年加入 FRL 時，就已經在個人化模式上取得重要的進展，減少因訓練個人打字速度與技巧的自訂鍵盤模式所需的時間。
FRL 的研究科學總監 Hrvoje Benko 表示：「我們相信，我們的腕帶式穿戴裝置可以爲 AR 眼鏡提供一條超低摩擦力、隨時可用的輸入路徑，但此產品本身並不是一個完整的解決方案，就如同滑鼠只是一個圖形化的用戶介面一樣。其需要獲得意圖預測和使用者模型化的協助，才能即時適應用戶和其所屬的特定環境。」
如果系統提供讓你可以用一個簡單的點擊的手勢確認事項，而非透過選單點擊你想做的事呢？當人們將微型手勢輸入和適應式介面結合起來後，就能獲得Facebook所說的「智慧點擊」。
FRL 研究科學經理 Tanya Jonker 解釋：「該裝置內部的 AI 對用戶後續可能想做的事情有一定的瞭解。假設你去外面慢跑，系統會根據你過去的行爲，認爲你最可能想聽跑步用的播放清單歌曲。接着，它就會在顯示幕上向你展示這個選項：『播放跑步用播放清單？』 這就是適應式介面在發揮作用。接着，你就能用微型手勢確認或更改該建議。智慧點擊讓用戶能夠以低摩擦力的方式採取高度情境化的操作，這是因爲此類介面會根據個人歷史紀錄和選擇，提供高度相關的建議，讓你使用最少的輸入手勢就能達到目的。」
雖然手指點擊或微型手勢等超低摩擦力的輸入方式能讓使用者與適應式介面互動，但仍需要讓系統能反過來與用戶溝通，並且讓虛擬物件更具體有形，整個回饋循環纔算完整。在此情況下，觸覺回饋技術就能派上用場。
FRL 研究科學總監 Sean Keller 表示：「從出生時的第一次抓握，到能靈巧操縱各種物體還有在鍵盤上打字，這一切都創造了許多回饋循環機制；與外在世界互動時，你會透過雙眼和雙手與手指來完成各種事項，並在隨後感受到外界傳來的回饋。我們已經進化到能運用這些觸覺訊號來了解這個世界。正是觸覺讓我們學會了如何使用工具和進行細微操控。從外科醫生使用手術刀，到音樂會上鋼琴家感受琴鍵邊緣進行演奏，這一切都要仰賴觸覺。有了腕式裝置，我們便取得了開端。我們無法重現你在現實世界中與真實物體互動時可能感受到的每一種感覺，但我們已經開始逐漸建立許多這種感覺。」
以虛擬弓箭爲例。透過腕式觸覺技術，我們能夠營造近似於拉開弓弦的感覺，以便讓人們相信自己正在正確執行這個動作。
Facebook目前正在探索一系列的單次研究原型，希望能協助Facebook瞭解腕式裝置的觸覺回饋機制。其中一個原型機叫做「波紋帶」（Bellowband）。 這是一種柔軟輕巧的腕帶，上面有八個分佈在手腕周圍的氣動波紋管。波紋管內的空氣可以控制，藉此呈現出有趣的壓力和振動觸覺回饋。這仍是很初期的研究原型，幫助Facebook決定觸覺回饋值得更深入的探索。另一款原型機名爲「Tasbi」，是「觸覺與擠壓手環介面」（Tactile and Squeeze Bracelet Interface）的縮寫。Tasbi 由六個振動觸覺執行器和一個新穎的手腕擠壓機制所構成。
爲了建構可在日常生活中實用且以人爲本的 AR 介面，Facebook也必須考慮根本的研究問題，這些問題是探討腕式互動的一切基礎。Keller 說明：「理解與解決所有道德層面的議題，需要社會層面的參與。這無法單靠我們，因此我們不會嘗試。當我們發明新科技時，我們承諾將與社羣分享我們的學習，必且參與公開討論以應對議題。」當Facebook持續探索 AR 的各種可能性，Facebook將持續以負責任創新爲原則作爲每項研究問題的指導核心與最高原則：始終以人爲優先。
Facebook認爲人們可以不用在虛擬世界與真實世界中做出選擇。以超低摩擦力的腕式輸入、以情境感知 AI 驅動的適應式介面，與觸覺回饋技術的協助下，我們可以與裝置進行溝通交流，而無須將自己從當下情境中抽離，進而讓我們能與他人建立聯繫並提升生活品質。