基於頭戴式顯示之混合實境系統於神經外科醫療之應用

在本研究計畫中，我們預期開發基於頭戴式顯示裝置(Head-Mounted Display devices, HMD devices)之混合實境(Mixed Reality, MR)系統，初步預估可將此系統應用在腦部血管以及脊椎等部位，此系統可應用於神經外科醫療的不同階段，由病患影像分析與診斷起始、病情解說、術前手術規劃、手術模擬、直到術中的手術導引輔助顯示等等。由於VR/AR 等混合實境技術與頭戴式顯示裝置在顯示效果及用例上各自有其優劣，我們認為需要依照醫療進程中不同階段上的需求設計相應的混合實境顯示架構，以求能夠更加實際的切合醫療流程中每個階段所需要的不同顯示效果與功能。我們根據使用情境、操作目標與顯示物件的不同等等來結合不同的MR 技術，規劃三種不同的架構，以期達到能夠在神經外科的整體醫療流程中扮演有效輔助醫師的腳色。本計畫預計執行三年，在第一年我們將初步針對所需的軟硬體元素進行收集與評估，並開發醫學影像三維建模方法，並預期在第一年度將透過沉浸式VR顯示醫學影像三維資訊的架構完成。而在第二年的部分，我們將針對光學穿透式的AR 顯示架構及沉浸式AR 顯示架構等MR 技術進行細部設計以及相關演算法的實作與改良。最後，在第三年我們會進行系統的整合、流程的完整建立與驗證評估。

系統編號:PB10607-1400
原計畫編號:MOST106-2221-E182-025