人機動介面之即時動作識別技術

 

 

 

一、技術簡介:

在「NTT DOCOMO Vision 2020 - Culture Symphony」影片中第 4:00 分左右,提到了運用搭載人機互動介面之即時動作技術,Emma在會議中使用,不經由直接碰觸,藉由身體姿態與電腦應用程式進行互動

NTT DOCOMO Vision 2020 - Culture Symphony」影片中所展示的片段。

‘’The gesture identification based visual human-computer interaction technology‘’中文譯為「人機動介面之即時動作識別技術」,這套技術著重於手勢辨識,讓使用可以不由直接碰觸,而藉由身體姿態與電腦應用程式進行動。究方法採用Shape Context Matching 作為手勢影像比對的基礎,首先利用視訊設備擷取手勢影像,然後利用電腦視覺的相關技術從影像當中分析出重要的形狀資訊,接著將這些資訊轉換成適當的指令之後,交由應用程式去執行動作。

二、發展現況及領導廠商:

這種概念源自於好萊塢影星湯姆克魯斯2002年主演的關鍵報告(Minority Report片中,他雙手在空中揮舞,電腦螢幕上的影像和檔案馬上移動自如如今電影畫面已經實作出來了。

電影〈關鍵報告〉中湯姆克魯斯戴著有感應裝置手套,用手勢駕馭電腦整合資訊1. 2006Nitendo推出的Wii遊戲機,以簡單、直覺性的操作跨越過去所有遊戲機的經驗,讓Wii成功闖出一片天。

2. 2009年─E3大展中,3大遊戲廠商不約而同地將革新操控介面視為新一代遊戲機訴求重點。包括任天堂「Wii動態強化感測器」(Wii MotionPlus)、導入擴增實境玩法的 SonyPS動態控制器」(PlayStation Motion Controller),以及採用深度影像辨識技術的微軟「誕生計畫」(Project Natal),顯示操控介面變革已然成為趨勢。

3. 2010微軟展示的誕生計畫,強調使用者「自己就是遙控器」最令人驚。透過可偵測距離的3D (3 Dimension)攝影機和影像辨識技術,以及動作捕捉應用所需的輔助運算,
微軟讓使用者不需接觸螢幕或手持遙控器,就可以更輕鬆自然地操作遊戲。例如Xbox體感遊戲機控制器Kinect

4. 2012作為 Microsoft Kinect 的潛在對手之一,SoftKinetic Computex 上發表了其新一代的動作感應系統。這次的 DepthSense325 尺寸更小、感應更精,採用了更高質素的相機,最近感應距離也從之前 DepthSense 311 15cm 升級到了 10cm。另外它還加入了兩個麥克風,這樣在視訊會議、遊戲等場合下(對 OEM 和開發者們來說未來還有更多的可能)就能起到更多的作用。

三、使用情境及服務模式規劃:

1. 博物館文物之呈現:人機互動介面下的動作識別結合全像攝影技術,模擬各種珍貴文物或藝術作品,不會破壞珍貴的收藏還可以防塵,還可同一時間展示在各個博物館,利用手勢操作可在博物館翻閱古書時,可以隔著玻璃窗閱覽古代文獻,讓遊客在欣賞古物的同時更接近真實的文物。

圖為大英博物館中的精美文物

2.家具模擬擺設:未來可以建立一個虛擬的投影設備以及人機介面,投影出自己想要購買的家具,再利用搬移手勢的動作來移動,可以先了解家具在家中擺設的方式,這樣在購買家具的時候可以方便許多。

科技運用在家具的擺設上讓生活更便利

3.醫療研究:在醫學上,這種人機介面的手勢操作也相當實用,可以讓醫護人員無須直接接觸病人,改由機器人進行手術,醫生以體感方式遙控,進行手術的同時也可以將他所要的檢驗結果、病例報告、X光片等等顯上在電腦螢幕,即時手勢操控在顯示屏幕上放大觀看。

電影最終幻想:靈魂深處中的手術場景

4.感遊戲:取代實體遙控器,遊戲方式由控制按鈕改為自己的身體運作,完全透過影像辨識來捕捉玩家的動作,能在完全不受手持控制器的限制下,盡情享受遊戲的樂趣。

圖為微軟的Xbox Kinect手勢界面是通過控制玩家的獨立運動

5.電腦硬體:取代實體的鍵盤以及滑鼠,操作上直接由雙手的動作進行,利用視訊設備擷取手勢影像,然後利用電腦視覺的相關技術從影像當中分析出重要的形狀資訊。

電影〈鋼鐵人〉中主角以運用手勢識別技術,直接由雙手操作電腦螢幕

 

四、參考資料:

http://mashable.com/2010/10/29/microsoft-acquires-canesta/
http://mag.udn.com/mag/digital/storypage.jsp?f_ART_ID=23096
http://www.digitimes.com.tw/tw/rpt/rpt_show.asp?cnlid=3&v=20100119-029&n=

http://chinese.engadget.com/2012/06/07/softkinetics-motion-sensor-tracks-hands-fingers-ds325/