許多人日常在用的智能手表，它的文本輸入要么靠語(yǔ)音，要么靠打字或手寫。

但有時(shí)你可能不方便說話，或者在那么小的屏幕上戳鍵盤實(shí)在有點(diǎn)“局促”。

那咋辦？

也許可以試試“隔空打字”法。

浙江大學(xué)就開發(fā)了這樣一個(gè)名叫AirText的應(yīng)用，只需你動(dòng)動(dòng)手指和手腕，手表就確識(shí)別空中字符，錯(cuò)誤率低至3.9%。

還配備聯(lián)想和推薦功能，讓拼寫速度更快。

給智能手表配上“隔空打字”功能

開發(fā)AirText的一個(gè)主要挑戰(zhàn)在于如何讓它理解手腕運(yùn)動(dòng)和指尖拼寫動(dòng)作的對(duì)應(yīng)關(guān)系。

就像下面這張圖所展示的，拼寫時(shí)手腕呈現(xiàn)出來的軌跡和正常字母差得還挺多的。

為此，研究團(tuán)隊(duì)先借助了一個(gè)現(xiàn)成工具Leap Motion，它可以用紅外傳感器跟蹤手勢(shì)。

然后八名志愿者使用五種不同的智能手表拼出超過25000個(gè)字符，用Leap Motion收集相關(guān)的手腕和手指運(yùn)動(dòng)數(shù)據(jù)。

再將數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行訓(xùn)練，最終AirText可以根據(jù)用戶手腕微小的動(dòng)作變化推斷指尖的軌跡。

然后，僅通過智能手表就可以高效、準(zhǔn)確地將推斷出的軌跡識(shí)別為相應(yīng)的字符。

為了加快拼寫速度，他們還給系統(tǒng)配上了單詞預(yù)測(cè)和推薦功能。

預(yù)測(cè)單詞會(huì)顯示在手表屏幕的四個(gè)方向，我們可以將手表向上下左右傾斜就能進(jìn)行選擇（晃動(dòng)手表可以退格）。

詞錯(cuò)誤率為3.9%

首先來看AirText的準(zhǔn)確性測(cè)試。

衡量指標(biāo)為WER（詞錯(cuò)誤率，Word Error Rate），計(jì)算方法就是將錯(cuò)誤字/識(shí)別正確的字。

其中錯(cuò)誤字涉及三種類型：漏字（用I表示，即校對(duì)成正確的拼寫時(shí)需要再插入的字的數(shù)量）、多字（用D表示，即需要?jiǎng)h除的字?jǐn)?shù)量）、錯(cuò)字（用S表示，即需要替換的字?jǐn)?shù)量）。

將AirText與倆基線方法（IMU-CNN和BLSTM）相比，最終AirText得分最低，也就是準(zhǔn)確性最高。

三者平均分分別為3.9%、30.9%和57.1%。

以上是單用戶在單設(shè)備上的測(cè)評(píng)結(jié)果。

為了更準(zhǔn)確，他們還測(cè)試了多用戶和多設(shè)備，結(jié)果如下：

左圖中，同一個(gè)用戶使用5種不同智能手表測(cè)試AirText獲得的準(zhǔn)確率得分分別為：8.3%、7.5%、6.5%、7.7%和3.9%。

研究人員表示，7%的WER意味著平均每15個(gè)單詞中有一個(gè)識(shí)別錯(cuò)誤，這對(duì)于隔空手寫來說還是可以接受的。

右圖中，8位不同用戶使用同一手表獲得了11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%的WER。

從中我們可以看出，與不同的設(shè)備相比，不同的用戶對(duì)準(zhǔn)確性的影響更大。

不過研究人員表示，借助模型更新組件，AirTex 仍然可以針對(duì)不同用戶實(shí)現(xiàn)較高的準(zhǔn)確率。

然后是速度測(cè)試。

由于BLSTM基線的WER約為57%，錯(cuò)誤率太高，研究人員只比較了AirText和IMU-CNN兩者的速度。

衡量指標(biāo)是WPM（單詞/每分鐘，Word Per Minute），其計(jì)算方式為用總體輸入字?jǐn)?shù)-錯(cuò)誤字?jǐn)?shù)/時(shí)間。

結(jié)果AirText的平均WPM為8.1，而IMU-CNN基線的WPM僅為4.6。

研究人員指出，此輸入速度與一些基于雙手觸摸屏的文本輸入方法相當(dāng)（這些方法在實(shí)際應(yīng)用中的WPM為9.1、9.8WPM）。

總體來看，AirText的準(zhǔn)確率不錯(cuò)，但速度還需要進(jìn)步。

慢的主要原因還是因?yàn)樗科磳懸粋€(gè)字符就需停頓一會(huì)兒。

研究人員正在研究破解辦法，并表示最終有興趣將AirText商業(yè)化。

作者介紹

一作為浙江大學(xué)計(jì)算機(jī)學(xué)院助理教授高藝，浙江大學(xué)博士畢業(yè)，研究方向包括嵌入式軟件、無線和移動(dòng)計(jì)算、傳感器網(wǎng)絡(luò)和信息物理系統(tǒng)。

通訊作者為浙大計(jì)算機(jī)學(xué)院副教授、博導(dǎo)董瑋，同樣為浙大博士畢業(yè)，研究方向包括物聯(lián)網(wǎng)系統(tǒng)和網(wǎng)絡(luò)、邊緣計(jì)算、無線和移動(dòng)計(jì)算。

其谷歌學(xué)術(shù)引用次數(shù)總計(jì)3000+。

論文地址：

https://ieeexplore.ieee.org/document/9625777

參考鏈接：

https://spectrum.ieee.org/smartwatch-input-finger-writing

本文來自微信公眾號(hào)“量子位”（ID:QbitAI），作者：豐色，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 就能 浙大 手表