通過手勢引導(dǎo)的2-D顯示設(shè)備上的形狀的視覺呈現(xiàn)

NIT Kurukshetra，IIT Roorkee和IIT Bhubaneswar的研究人員開發(fā)了一種新的基于Leap Motion控制器的方法，可以改善顯示設(shè)備上二維和三維形狀的渲染。在arXiv上發(fā)表的一篇論文中概述的這種新方法跟蹤手指運動，同時用戶在傳感器視野內(nèi)執(zhí)行自然手勢。

近年來，研究人員一直在嘗試設(shè)計創(chuàng)新的非接觸式用戶界面。這樣的接口可以允許用戶即使在他們的手臟或不導(dǎo)電時也與電子設(shè)備交互，同時還幫助人們部分身體殘疾。低成本傳感器的出現(xiàn)增強了探索這些可能性的研究，例如Leap Motion，Kinect和RealSense器件所使用的傳感器。

“我們希望開發(fā)一種能夠為學(xué)習(xí)粘土藝術(shù)的學(xué)生提供引人入勝的教學(xué)體驗的技術(shù)，甚至是學(xué)習(xí)基本字母的孩子，”進行這項研究的研究人員Debi Prosad Dogra博士告訴TechXplore。“了解兒童從視覺刺激中學(xué)習(xí)得更好的事實，我們利用著名的手部動作捕捉設(shè)備來提供這種體驗。我們想設(shè)計一個框架，可以識別教師的手勢并在屏幕上呈現(xiàn)視覺效果。設(shè)置可以是用于需要手勢引導(dǎo)的視覺渲染的應(yīng)用程序。“

Dogra博士及其同事提出的框架有兩個不同的部分。在第一部分中，用戶從Leap Motion設(shè)備的視野內(nèi)可用的36種類型的手勢中執(zhí)行自然手勢。

“傳感器內(nèi)的兩個紅外攝像機可以記錄手勢序列，”Dogra博士說。“提議的機器學(xué)習(xí)模塊可以預(yù)測手勢類，渲染單元在屏幕上呈現(xiàn)相應(yīng)的形狀。”

分析用戶的手部軌跡以提取3-D中的擴展Npen ++特征。表示用戶在手勢期間的手指運動的這些特征被饋送到用于訓(xùn)練的單向從左到右的隱馬爾可夫模型(HMM)。然后，系統(tǒng)在手勢和形狀之間執(zhí)行一對一的映射。最后，使用MuPad界面在顯示器上呈現(xiàn)與這些手勢對應(yīng)的形狀。

“從開發(fā)人員的角度來看，擬議的框架是一個典型的開放式框架，”Dogra博士解釋說。“為了增加更多的手勢，開發(fā)人員只需要從一些志愿者那里收集手勢序列數(shù)據(jù)，并為新課程重新訓(xùn)練機器學(xué)習(xí)(ML)模型。這個ML模型可以學(xué)習(xí)一個廣義的表示。”

作為他們研究的一部分，研究人員創(chuàng)建了一個由10名志愿者記錄的5400個樣本的數(shù)據(jù)集。他們的數(shù)據(jù)集包含18種幾何形狀和18種非幾何形狀，包括圓形，矩形，花形，圓錐形，球形等等。

“特征選擇是典型機器學(xué)習(xí)應(yīng)用的重要部分之一，”Dogra博士說。“在我們的工作中，我們已經(jīng)擴展了3-D中現(xiàn)??有的2-D Npen ++功能。已經(jīng)證明擴展功能可以顯著提高性能.3-D Npen ++功能也可以用于其他類型的信號，例如正文 - 檢測，活動識別等。“

Dogra博士及其同事用五重交叉驗證評估了他們的方法，發(fā)現(xiàn)它的準(zhǔn)確率達到了92.87%。它們擴展的3-D特征優(yōu)于現(xiàn)有的3-D特征，用于形狀表示和分類。將來，研究人員設(shè)計的方法可以幫助開發(fā)智能顯示設(shè)備的有用的人機交互(HCI)應(yīng)用程序。

“我們的手勢識別方法非常普遍，”Dogra博士補充道。“我們將這項技術(shù)視為聾人和殘疾人溝通的工具。我們現(xiàn)在希望利用該系統(tǒng)來理解手勢并將其轉(zhuǎn)換成書面形式或形狀，以協(xié)助人們進行日常生活對話。隨著先進的機器學(xué)習(xí)的出現(xiàn)像遞歸神經(jīng)網(wǎng)絡(luò)(RNN)和長期短期記憶(LSTM)這樣的模型，時間信號分類也有很多范圍。“