摘要：混合現(xiàn)實(shí)技術(shù)由于具有良好的沉浸感和交互體驗(yàn)，在高校實(shí)踐教學(xué)領(lǐng)域有著廣闊的應(yīng)用前景。根據(jù)人才培養(yǎng)需求，設(shè)計(jì)并開發(fā)了基于混合現(xiàn)實(shí)技術(shù)的機(jī)器人遙操作實(shí)驗(yàn)平臺。該平臺采用LeapMotion檢測跟蹤操作者手部運(yùn)動并轉(zhuǎn)換成機(jī)器人控制命令，同時(shí)由混合現(xiàn)實(shí)顯示裝置獲取具有機(jī)器人現(xiàn)場場景和虛擬手部動畫模型的實(shí)時(shí)視像反饋，通過機(jī)器人書寫漢字應(yīng)用驗(yàn)證了系統(tǒng)的有效性。該平臺采用混合現(xiàn)實(shí)技術(shù)保證了操作的安全性和高效性，增強(qiáng)了人機(jī)交互體驗(yàn)，其通用性和綜合實(shí)踐性強(qiáng)，可為機(jī)器人工程專業(yè)相關(guān)實(shí)踐教學(xué)提供創(chuàng)新實(shí)驗(yàn)平臺。

　　關(guān)鍵詞：機(jī)器人;混合現(xiàn)實(shí);遙操作;人機(jī)交互

　　混合現(xiàn)實(shí)(mixedreality,MR)技術(shù)結(jié)合了虛擬現(xiàn)實(shí)(virtualreality,VR)和增強(qiáng)現(xiàn)實(shí)(augmentedreality,AR)技術(shù)的優(yōu)勢，能夠?qū)⑻摂M環(huán)境引入到現(xiàn)實(shí)場景中，同時(shí)在現(xiàn)實(shí)世界、虛擬世界和操作者之間建立起信息回路，從而增強(qiáng)操作者的沉浸感和交互體驗(yàn)[1-2]，已經(jīng)在工業(yè)制造、建筑設(shè)計(jì)、醫(yī)療衛(wèi)生等多個(gè)領(lǐng)域得到應(yīng)用[3-5]，在高校教學(xué)領(lǐng)域如虛擬實(shí)驗(yàn)室、虛擬課堂等方面也有著廣闊的應(yīng)用前景[6-7]。

　　近年來機(jī)器人技術(shù)得到快速發(fā)展，社會對該領(lǐng)域人才尤其是拔尖創(chuàng)新人才的需求不斷增加。機(jī)器人技術(shù)是一門綜合性實(shí)踐性很強(qiáng)的交叉學(xué)科，建立機(jī)器人工程專業(yè)創(chuàng)新實(shí)踐平臺并開展相關(guān)實(shí)踐教學(xué)對高校人才的培養(yǎng)至關(guān)重要[8-9]。本文將混合現(xiàn)實(shí)技術(shù)與機(jī)器人控制相結(jié)合，開發(fā)了虛擬現(xiàn)實(shí)場景下的機(jī)器人遙操作控制實(shí)驗(yàn)平臺，一方面保證了操作的安全性、增強(qiáng)了操作體驗(yàn)感，另一方面學(xué)生可根據(jù)興趣開展不同的應(yīng)用實(shí)驗(yàn)，促進(jìn)了學(xué)生探索研究能力和創(chuàng)新能力的培養(yǎng)。

　　1平臺整體方案設(shè)計(jì)

　　主要包括操作者、LeapMotion手勢傳感器、混合現(xiàn)實(shí)顯示裝置、機(jī)器人、計(jì)算機(jī)5部分。LeapMotion是由MagicLeap公司于2013年推出的一款無接觸式的手勢交互設(shè)備，內(nèi)置有3個(gè)紅外發(fā)光二極管和2個(gè)深度攝像機(jī)，能夠捕捉到操作者手部運(yùn)動時(shí)手指和掌心位置坐標(biāo)信息并通過USB接口與計(jì)算機(jī)通信[10]。該實(shí)驗(yàn)平臺中的機(jī)器人可以是工業(yè)機(jī)械臂、雙臂協(xié)作機(jī)器人等，算法采用C++編程語言進(jìn)行開發(fā)，具有一定的通用性。

　　平臺實(shí)施流程如下：首先定義手掌開合作為遙操作觸發(fā)信號，采用LeapMotion檢測操作者的手勢，當(dāng)檢測到操作者手掌閉合時(shí)即對其掌心位置進(jìn)行跟蹤;將其采集的位置數(shù)據(jù)進(jìn)行處理，計(jì)算機(jī)根據(jù)所設(shè)計(jì)的運(yùn)動映射算法轉(zhuǎn)換為機(jī)器人坐標(biāo)系下末端執(zhí)行器坐標(biāo)并生成相應(yīng)控制命令，通過UDP通信方式實(shí)時(shí)傳輸至機(jī)器人下位機(jī)。

　　利用LeapMotion的API接口和游戲引擎(如Unity3D、Unreal等)可開發(fā)并生成操作者手部虛擬模型，同時(shí)借助常見的混合現(xiàn)實(shí)顯示裝置(如微軟HoloLens等)，操作者可實(shí)時(shí)獲取由機(jī)器人工作現(xiàn)場場景和手部虛擬模型動畫組成的混合現(xiàn)實(shí)視像反饋，保證了操作的安全性和高效性，增強(qiáng)了人機(jī)交互體驗(yàn)。

　　2主要功能模塊設(shè)計(jì)

　　2.1混合現(xiàn)實(shí)場景生成模塊

　　結(jié)合混合現(xiàn)實(shí)顯示裝置、LeapMotion控制器以及Unity3D游戲引擎設(shè)計(jì)并搭建混合現(xiàn)實(shí)環(huán)境。在Unity中通過調(diào)用LeapMotion的Assets組件，導(dǎo)入并生成操作者的手部虛擬模型，由相關(guān)功能實(shí)現(xiàn)混合現(xiàn)實(shí)顯示裝置與Unity軟件之間的通信，將在Unity中生成的混合現(xiàn)實(shí)影像流信號實(shí)時(shí)傳輸至混合現(xiàn)實(shí)顯示裝置。此外，可通過設(shè)置最快傳輸速度、調(diào)整虛擬物件與操作者之間的距離、相機(jī)背景顏色等以保證更好的實(shí)時(shí)反饋效果。通過混合現(xiàn)實(shí)設(shè)備，操作者不僅可以觀察到機(jī)器人的運(yùn)動以及現(xiàn)場場景，同時(shí)由Unity生成的虛擬手部模型也將呈現(xiàn)于操作者的視野之中。該虛擬模型與操作者的手部運(yùn)動保持一致，這也為操作者在操作過程中提供重要的引導(dǎo)性幫助，從而實(shí)現(xiàn)更好的人機(jī)交互體驗(yàn)。

　　2.2運(yùn)動映射算法模塊

　　考慮到LeapMotion控制器與工業(yè)機(jī)器人的坐標(biāo)系并不一致，為了使得操作者的動作能夠正確映射到機(jī)器人工作空間保證機(jī)器人做出合乎預(yù)期的正確運(yùn)動，本文提出了一種運(yùn)動映射算法，用于將LeapMotion控制器的坐標(biāo)系轉(zhuǎn)化為機(jī)器人的坐標(biāo)系，實(shí)現(xiàn)操作者動作到機(jī)器人末端動作的同步映射。

　　3實(shí)驗(yàn)示例

　　采用微軟頭戴式HoloLens混合現(xiàn)實(shí)顯示裝置、華數(shù)6自由度工業(yè)機(jī)器人、LeapMotion手勢控制器構(gòu)建了機(jī)器人遙操作控制實(shí)驗(yàn)平臺。本實(shí)驗(yàn)通過設(shè)計(jì)特定任務(wù)，即遙操作機(jī)器人書寫簡單中國漢字來驗(yàn)證上述平臺的有效性。實(shí)驗(yàn)中定義“是否握緊拳頭”為啟動遙操作程序的觸發(fā)事件，當(dāng)LeapMotion控制器檢測到操作者拳頭握緊時(shí)，將啟動遙操作程序，此時(shí)LeapMotion開始跟蹤記錄操作者的手部掌心位置，上位機(jī)由相關(guān)位置信息和運(yùn)動映射算法生成控制命令并實(shí)時(shí)傳輸給華數(shù)機(jī)器人執(zhí)行命令。遙操作過程中操作者利用LeapMotion控制器，實(shí)現(xiàn)通過手勢遠(yuǎn)程控制華數(shù)機(jī)器人，同時(shí)，操作者通過HoloLens可以獲取實(shí)時(shí)視像反饋。

　　不僅可以觀察到華數(shù)機(jī)器人和周圍場景，還能夠看到跟隨自身手部運(yùn)動的虛擬手部動畫模型。對于操作者來說，結(jié)合混合現(xiàn)實(shí)技術(shù)的視像反饋使得操作過程更加直觀，操作難度也大大降低。上述實(shí)驗(yàn)中，操作者通過手部運(yùn)動順利完成遙操作華數(shù)機(jī)器人書寫漢字“王”的任務(wù)，為機(jī)器人在實(shí)際環(huán)境中書寫漢字情況。實(shí)驗(yàn)結(jié)果驗(yàn)證了所設(shè)計(jì)的基于混合現(xiàn)實(shí)技術(shù)的機(jī)器人遙操作控制平臺的有效性。

　　機(jī)器人論文范例： 我國鑿巖機(jī)器人發(fā)展機(jī)遇與挑戰(zhàn)研究

　　4結(jié)語

　　本文結(jié)合混合現(xiàn)實(shí)技術(shù)開發(fā)了機(jī)器人遙操作實(shí)驗(yàn)平臺，該平臺具有通用性強(qiáng)、綜合實(shí)踐性強(qiáng)等特點(diǎn)，可應(yīng)用于不同機(jī)器人平臺并開展多種應(yīng)用研究，能夠?yàn)闄C(jī)器人技術(shù)相關(guān)實(shí)踐教學(xué)提供創(chuàng)新實(shí)驗(yàn)平臺。隨著混合現(xiàn)實(shí)技術(shù)的不斷發(fā)展和逐步普及，混合現(xiàn)實(shí)技術(shù)在高校實(shí)踐教學(xué)尤其是虛擬實(shí)驗(yàn)室的建設(shè)和應(yīng)用方面將發(fā)揮重要作用，充分發(fā)揮混合現(xiàn)實(shí)優(yōu)勢、構(gòu)建實(shí)驗(yàn)場景、開發(fā)相關(guān)應(yīng)用案例，將為學(xué)生提供更好的交互式體驗(yàn)平臺，進(jìn)一步促進(jìn)機(jī)器人工程專業(yè)拔尖創(chuàng)新人才的培養(yǎng)。

　　參考文獻(xiàn)(References)

　　[1]黃進(jìn)，韓冬奇，陳毅能，等.混合現(xiàn)實(shí)中的人機(jī)交互綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016,28(6):869–880.

　　[2]周忠，周頤，肖江劍.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國科學(xué)：信息科學(xué)，2015,45(2):157–180.

　　[3]劉敏洋，李博功.基于混合現(xiàn)實(shí)技術(shù)的工業(yè)智能運(yùn)維系統(tǒng)設(shè)計(jì)[J].制造技術(shù)與機(jī)床，2020(9):80–82,87.

　　[4]龔赤兵.HoloLens混合現(xiàn)實(shí)技術(shù)在建筑行業(yè)中的應(yīng)用研究[J].現(xiàn)代信息科技，2019,3(4):147–149.

　　[5]李晉芳，陳基榮，李二芳，等.遠(yuǎn)程協(xié)同手術(shù)指導(dǎo)平臺的研究[J].實(shí)驗(yàn)室研究與探索，2019,38(6):96–102.

　　[6]孔璽，孟祥增，徐振國，等.混合現(xiàn)實(shí)技術(shù)及其教育應(yīng)用現(xiàn)狀與展望[J].現(xiàn)代遠(yuǎn)距離教育，2019(3):82–89.

　　作者：占宏，梁聰垣，楊辰光