不需要鼠標、鍵盤(pán)，甚至接觸，計算機會(huì )“看到”你想告訴它的一切—在微軟的“未來(lái)科技”布局里，識別空中手書(shū)是一幕關(guān)于人機互動(dòng)的奇幻片段。

在2054年的華盛頓，湯姆·克魯斯飾演的安德頓戴著(zhù)他有觸點(diǎn)的手套，邊打電話(huà)邊用雙手令人眼花繚亂地在透明顯示器上操作程序和窗口，酷勁十足。即使不是科幻迷和游戲迷，也會(huì )有很多人憧憬電影《少數派報告》里科幻般的生活。

事實(shí)上，你很有可能比湯姆·克魯斯更酷：當你在空中對著(zhù)機器比劃的時(shí)候，已經(jīng)不再是“對牛彈琴”。微軟亞洲研究院的識別空中手書(shū)技術(shù)使得計算機、智能家電、游戲機能夠認識我們所比劃的文字，識別內容包括了漢字、日文、韓文，數字和英文單字。就像“我來(lái)比劃你來(lái)猜”游戲，不同的是，猜測我們比劃內容的對方，現在變成了和人一樣“聰明”的機器。識別空中手書(shū)技術(shù)，只需要一臺普通的電腦、一個(gè)攝像頭、一個(gè)游戲機手柄，就可以實(shí)現，脫離鼠標、鍵盤(pán)，甚至代替像iPhone那樣觸控技術(shù)的人機互動(dòng)。

如果說(shuō)鍵盤(pán)鼠標輸入和手寫(xiě)觸控分別代表人機交互的兩個(gè)階段，那么，識別空中手書(shū)可以說(shuō)使這種交互進(jìn)入了3.0時(shí)代。“對于這項基礎的創(chuàng )新技術(shù)，想到在上面開(kāi)發(fā)出的無(wú)數最具有想象力的應用就令人激動(dòng)。這也是作為研究員最值得期待的時(shí)刻。沒(méi)有人能預見(jiàn)，軟件開(kāi)發(fā)商和應用微軟平臺的開(kāi)發(fā)人員會(huì )在識別空中手書(shū)技術(shù)上面開(kāi)發(fā)怎樣的應用?？梢哉f(shuō)，能想多遠就有多遠。”微軟亞洲研究院語(yǔ)音組主任研究員霍強在說(shuō)這些話(huà)的時(shí)候，識別空中手書(shū)項目的主要負責人馬磊正在旁邊拿著(zhù)一顆橘子給記者演示微軟的“軟”字。

IT的太極之舞

讓機器“懂得”人類(lèi)的想法并“表達”出來(lái)，并不容易。傳統的使用鍵盤(pán)輸入和現在智能手機上流行的觸控輸入，把信息明確地“灌輸”給計算機。然而，空中手寫(xiě)識別技術(shù)，更像是中國傳統的太極拳法，動(dòng)作不僅像太極拳一樣行云流水，而且能夠“手隨心動(dòng)”。

識別空中手書(shū)項目組設計了兩種解決方案來(lái)做演示：最廉價(jià)的方式是使用一個(gè)網(wǎng)絡(luò )攝像頭來(lái)觀(guān)察用戶(hù)手的運動(dòng)；或者使用一種帶有被稱(chēng)作“陀螺儀”和“加速度儀”的傳感器的設備來(lái)捕捉用戶(hù)手的運動(dòng)。當用戶(hù)手的運動(dòng)被捕捉到之后，對其進(jìn)行補償，增強后，手寫(xiě)識別模塊就能認出用戶(hù)在空中寫(xiě)的文字。

“機器從捕捉、映射、識別到顯示，整個(gè)過(guò)程涉及兩方面的技術(shù)。一是動(dòng)態(tài)運動(dòng)物體捕捉；二是手寫(xiě)識別。”馬磊向記者介紹道。選擇一個(gè)能夠與周?chē)h(huán)境的顏色區分開(kāi)來(lái)的物體，放在視頻捕捉框的中心位置，按動(dòng)游戲手柄的按鈕開(kāi)始準備書(shū)寫(xiě)。在這個(gè)對運動(dòng)物體的捕捉過(guò)程中，就要教會(huì )計算機該捕捉的目標物體，計算機知道了所選擇的運動(dòng)目標，周?chē)h(huán)境里其他物體的運動(dòng)就不會(huì )產(chǎn)生干擾。

目標物體在空中運動(dòng)的過(guò)程中，產(chǎn)生了一個(gè)三維的圖像軌跡，映射到二維的攝像機里的是一個(gè)平面化的軌跡圖形，這個(gè)平面化的運動(dòng)軌跡要求對模糊、抖動(dòng)都能很好的處理。而當計算機獲得了清晰的運動(dòng)軌跡后，后臺的手寫(xiě)識別就可以進(jìn)行分析，從而得到用戶(hù)想要書(shū)寫(xiě)的文字。“這個(gè)看似簡(jiǎn)單的圖像分析和文字識別在相應的領(lǐng)域里都做了幾十年，絕對可以稱(chēng)得上是高科技。”霍強對記者說(shuō)，“比如數字3，會(huì )有像‘了’等相近的文字，這無(wú)疑增加了識別的難度。”最后的識別結果綜合了機器對書(shū)寫(xiě)動(dòng)作和圖像結果的分析，“形狀信息很重要，首先要像；另一方面，動(dòng)態(tài)信息也是個(gè)很重要的參考。”

馬磊對記者表示，空中手寫(xiě)識別與在手寫(xiě)板書(shū)寫(xiě)不同在于，手寫(xiě)板一筆一劃，折點(diǎn)尖銳。而空中寫(xiě)字需要一筆完成，沒(méi)有虛實(shí)的概念，不會(huì )提筆。在空中書(shū)寫(xiě)的過(guò)程中，“類(lèi)似于中國的太極，相對圓滑，行云流水。在速度變成零的時(shí)候不可能出現相應的折點(diǎn)，需要對這種字體情況進(jìn)行特殊處理。”

交互的未來(lái)

蓋茨曾說(shuō)，人與計算機的交互將變得越來(lái)越像人與人之間的互動(dòng)。蘋(píng)果公司的iPhone手機和任天堂的Wii游戲機，在用戶(hù)互動(dòng)界面的出色表現獲得了消費者的青睞。而微軟的下一代操作系統Windows7，作為自然的用戶(hù)界面，也內置了觸摸支持功能；微軟智能觸控桌面電腦Microsoft Surface，看上去更像是一張多功能的桌面屏幕。

談到識別空中手書(shū)這項技術(shù)的最初想法，微軟亞洲研究院首席研究員兼語(yǔ)音組負責人宋平表示，“這個(gè)想法是為了解決在沒(méi)有鍵盤(pán)或手寫(xiě)板的特定環(huán)境里如何用手勢輸入字符的問(wèn)題。識別空中手書(shū)從技術(shù)和提升用戶(hù)體驗方面都是一項很杰出的創(chuàng )新。我相信這項創(chuàng )新將有可能被應用到微軟目前和未來(lái)的很多產(chǎn)品及服務(wù)中。”

而從研發(fā)的角度，脫離了鍵盤(pán)鼠標的識別空中手書(shū)技術(shù)將想象力更拉近一步，抑或是對未來(lái)主流交互式體驗的提前預演。而這，將為微軟在人機交互體驗上培養越來(lái)越多的“手語(yǔ)者”。

對于識別空中手書(shū)在未來(lái)應用的三個(gè)場(chǎng)景，馬磊向記者介紹道，在交互式游戲環(huán)境下，用戶(hù)在空中輸入一些文字，如名字，答案，甚至是解密類(lèi)游戲的符號，以獲取不同的游戲體驗；而在可聯(lián)網(wǎng)設備上，比如網(wǎng)絡(luò )電視（IPTV）和Xbox，甚至還有智能家電，需要輸入文字信息時(shí)用遠距離“比劃”都很方便。比如在網(wǎng)絡(luò )電視上搜索視頻，在Xbox上搜索游戲動(dòng)畫(huà)等等；而對于家長(cháng)來(lái)說(shuō)，采用手勢這種寓教于樂(lè )的方式，更適合好動(dòng)且喜歡視覺(jué)沖擊的小孩。由于遠距離輸入更能體現脫離鍵盤(pán)鼠標輸入信息的優(yōu)勢，未來(lái)，微軟亞洲研究院希望識別空中手書(shū)技術(shù)能夠為用戶(hù)解決更多的實(shí)際問(wèn)題，能夠使能其他有趣有意義的事情發(fā)生。而且，將不限定只用一個(gè)跟蹤點(diǎn)，未來(lái)將會(huì )有多個(gè)跟蹤點(diǎn)來(lái)應用到微軟地圖搜索服務(wù)的查找、縮放等。

“我們做研發(fā)的目的是為了提升用戶(hù)體驗，微軟亞洲研究院在與產(chǎn)品部門(mén)的互動(dòng)和溝通過(guò)程中，來(lái)共同探討把這些創(chuàng )新技術(shù)應用到產(chǎn)品里或者技術(shù)轉移出去的時(shí)間。但是，作為一個(gè)研究人員，能夠讓千家萬(wàn)戶(hù)應用到自己的創(chuàng )新想法是最令我們激動(dòng)的事情。”霍強對記者說(shuō)。

霍強和馬磊最近剛從微軟雷德蒙總部回來(lái)，他們在微軟研究院一年一度的技術(shù)節上展示了識別空中手書(shū)技術(shù)，吸引了包括微軟產(chǎn)品部門(mén)，微軟全球其它研究院同事以及媒體的關(guān)注。著(zhù)名博客人Chris Pirillo 在他博客中寫(xiě)道：“雖然這個(gè)軟件目前還只是個(gè)技術(shù)原型，沒(méi)有被應用，但是我很看好它，這是一項驚人的研究。你能想像這個(gè)軟件什么時(shí)候能被應用嗎？我們所有的Xbox迷都拭目以待吧！”

這些充滿(mǎn)無(wú)限可能性的基礎創(chuàng )新是最具能量的。它本身可能不是一個(gè)成熟的應用，但是一旦與現實(shí)生活中有趣的想法相結合，就可以催生出無(wú)數的精彩成果。微軟擅長(cháng)于調動(dòng)豐富的研發(fā)資源做些“打地基”的事情，識別空中手書(shū)就拓展了更多豐富應用的可能性。而這，或者就是微軟亞洲研究院“研發(fā)之美”的魅力所在。