混合現(xiàn)實技術(shù)(MR)是近年來最為前沿的數(shù)字可視化技術(shù)。MR技術(shù)通過將虛擬數(shù)字信息,包括但不限于3D模型、3D動畫以及圖像、視頻、文字等二維信息,以全息影像方式融合于真實環(huán)境中,實現(xiàn)物理世界與數(shù)字世界之間隨時隨地的無縫銜接。針對特定的三維信息,信息使用者也不再需要將復(fù)雜的空間結(jié)構(gòu)信息在腦海中進行轉(zhuǎn)換重構(gòu),而是可以更直觀、更立體地直接獲取三維數(shù)字信息,大大提高了三維信息獲取效率,降低了理解誤差。
自2019年1月起,由上海第九人民醫(yī)院整復(fù)外科李青峰教授團隊與觸角科技團隊,上海理工大學(xué)王殊軼副教授團隊合作研制了新一代混合現(xiàn)實MR手術(shù)導(dǎo)航系統(tǒng),在這一系統(tǒng)引導(dǎo)下完成多例肩背部及腿部游離皮瓣切取術(shù)。此系列手術(shù)中,九院整復(fù)外科研究員、副主任醫(yī)師昝濤和姜陶然醫(yī)師應(yīng)用混合現(xiàn)實設(shè)備(微軟Hololens)和觸角科技MR手術(shù)導(dǎo)航系統(tǒng),通過對患者相關(guān)部位動脈降支及其穿支進行全息觀察和跟蹤,實現(xiàn)了高精度虛實結(jié)合的數(shù)字血管疊加,同時運用遠程多人協(xié)同功能進行跨區(qū)域會診,對目標(biāo)血管進行了準(zhǔn)確分離,更快更好地完成了手術(shù)。
該系統(tǒng)基于李青峰團隊的創(chuàng)新設(shè)計思想,采用觸角科技混合現(xiàn)實MR手術(shù)導(dǎo)航系統(tǒng)為基礎(chǔ),針對皮瓣血管手術(shù)的技術(shù)特點和精度要求進行系統(tǒng)適應(yīng)性優(yōu)化,為主刀醫(yī)生提供虛實疊加的精確血管位置定位導(dǎo)航功能,有了直觀可視化的精確定位依據(jù)。即首次讓醫(yī)生擁有了“透視”人體血管的能力。
面對重大創(chuàng)傷類的病患,需要采用游離皮瓣移植術(shù)技術(shù)將人體正常部位的皮瓣切取,移植覆蓋在缺損部位上,并將皮瓣內(nèi)的血管與受區(qū)血管進行吻合,以達到營養(yǎng)皮瓣修復(fù)缺損的目的。皮瓣游離移植技術(shù)中最關(guān)鍵的步驟在于成功分離供區(qū)的皮瓣,即皮瓣的切取,此手術(shù)要求對于皮瓣供區(qū)的主要血管走形、分布、深淺等空間信息都有充分了解,由于人體血管存在一定的解剖變異,因此一般需要在術(shù)前通過多普勒B超進行血管位置的判斷,并繪制血管的體表投影。但多普勒B超呈現(xiàn)的仍然是二維信息且不夠準(zhǔn)確,標(biāo)識血管投影,并解剖出血管需要術(shù)者長期的刻苦訓(xùn)練和豐富的臨床經(jīng)驗,才能較好完成血管的解剖,受個人主觀因素影響較大,成為術(shù)中最大的不穩(wěn)定因素。
圖說:術(shù)前應(yīng)用于多人遠程協(xié)同進行會診及手術(shù)規(guī)劃
觸角科技MR手術(shù)導(dǎo)航系統(tǒng)具有多人遠程協(xié)同會診及手術(shù)規(guī)劃功能。通過5G網(wǎng)絡(luò)的高數(shù)據(jù)流量支持,滿足多人、多地、低延時的基于三維病灶模型的協(xié)同會診及協(xié)同手術(shù)規(guī)劃功能。李青峰教授非常期待這一技術(shù)的應(yīng)用,能為基層、邊遠地區(qū)患者的治療,提供更好的方案和操作指導(dǎo)。
昝濤介紹,混合現(xiàn)實技術(shù)對于術(shù)前準(zhǔn)確理解皮瓣的血供特點和血管的空間走形相比于B超以及CT影像來說,具有更加直觀、更加符合人的思維習(xí)慣的優(yōu)勢。我們可以通過全息數(shù)據(jù)直接判斷非常微細動脈的空間走形,甚至能夠判斷血管究竟是走形在肌肉還是肌間隙。這對于術(shù)前皮瓣設(shè)計和規(guī)劃,同時也對于遠程會診以及病患溝通都具有非常重要的意義。
圖說:術(shù)中應(yīng)用于基于MR影像的病灶關(guān)鍵模型的虛實融合疊加
從病灶三維造影的輔助精確定位開始,到數(shù)字影像與現(xiàn)實世界的精確工具級適配,再到手術(shù)臺上數(shù)字影像與現(xiàn)實肌體的精確疊加,上海第九人民醫(yī)院整復(fù)外科與觸角科技一起合作走過了一段艱苦的探索過程,實現(xiàn)了3mm以內(nèi)虛實疊加誤差的穩(wěn)定輸出,讓混合現(xiàn)實MR手術(shù)導(dǎo)航從此進入了可被實戰(zhàn)接受和具備相應(yīng)價值的新高度。
上海第九人民醫(yī)院整復(fù)外科李青峰教授團隊完成國際首例以混合現(xiàn)實、人工智能、機器人等技術(shù)結(jié)合的醫(yī)療病例,為整形外科領(lǐng)域研究打開新的思路。