2023年6月28日，在上海世界移动通信大会上，源自复旦大学附属华山医院的元宇宙辅助神经外科技术首次亮相“数字上海”展区，该展区汇集了来自通信、医疗、智能网联汽车等领域的数字化成果。华山医院的神经外科元宇宙混合现实（mixed reality，mr）医疗解决方案受到了广泛关注。数字筑基，更要实战，华山医院神经外科结合健康中国战略需求，勇于创新，敢于破圈，为上海打造“国际数字之都”贡献专科智慧。

一、元宇宙是什么？

【资料图】

元宇宙（metaverse）是一个承载虚拟活动的平台，连接了虚拟与现实世界，在技术上，元宇宙在沉浸感、参与度与永续性方面提出了更高的要求。元宇宙是当下多种尖端科技的超级综合体，先进科技充斥整个产业闭环：其内容生产依托人工智能、数字孪生技术；存储和认证机制运用区块链技术；数据处理运用人工智能、云计算、云存储技术；网络环境构建依托5g技术；虚实交互与联通运用人体感知、3d渲染、拓展现实（extended reality, xr）、脑机接口、可穿戴、机器人等技术等，将所有最前沿的科技技术与医疗领域结合，在理想状态下就可以打破时间、距离以及技术的限制。

由此可见，元宇宙技术是下一个具有战略意义的竞争领域。早在上个世纪90年代，两弹一星元勋钱学森教授就敏锐的预见到以虚拟现实（virtual reality，vr）为代表的前沿计算科学对于国家总体技术升级的重要意义，也给vr技术起了一个意境优美而深远的中国名字：灵境。目前，随着国内xr、5g、云计算等技术成熟度的提升，已逐步从概念走向现实。

二、为什么要研究神经外科元宇宙？

在医疗方面，元宇宙医疗有望重构患者与医院的关系，重塑下一代数字医疗系统已成为国内外的共识。尤其是神经外科作为一个高风险、高技术难度的学科，不仅需要良好的术前规划与医患沟通，且术中导航是基本需求之一，有助于病灶精准定位降低并发症。但现有设备费用高昂、体积庞大、操作专业性强，更适宜大型三甲医院以及疑难病症的使用，难以大规模下沉基层。长期以来，医疗服务水平与特定的地区、机构、人员高度绑定，分级诊疗制度建设仍面临优质医疗资源总量不足且难以下沉到基层，城乡、区域之间分布不均衡等问题，患者为获得高质量医疗服务所需等待的平均时间变得更长。因此对于广大基层医院而言，如何在术前、术中快速获得大型三甲医院的指导，并将其转化为术中可用的图像引导方案，对于提高基层医院的手术服务能级和促进同质化诊疗有着积极意义。

有鉴于此，华山医院神经外科在毛颖院长的支持下，宋剑平、史之峰团队从2017年开始相关研究，目前更是在上海市经信委指导下，作为微软混合现实合作伙伴于上海市算力网络数字医疗创新实验室的平台上加速迭代。医工结合、院企合作，团队紧扣神经外科围手术期相关场景，采用mr技术和设备，围绕人工智能医学影像分割与云建模、远程协作与教学、全息可视化医患沟通，高精度轻便定位导航等医疗元宇宙关键技术领域，研发华山特色神经外科元宇宙应用范式，服务国家队技术下沉赋能基层医院的初心使命，有助于提高人民健康福祉。

三、华山神外元宇宙

能为诊疗带来什么变化？

课题组试图通过最简化的流程来实现神经外科围手术期元宇宙应用落地。使用者只要将dicom医学影像数据上传至云平台，结合人工智能辅助的图形分割算法进行快速三维建模，然后mr设备即可下载导入，在三维空间中进行远程协作与交流。

图：mr设备建模与获取流程

基于云服务的多终端架构和5g技术加持实现mr系统与各类显示终端低延时连接，可将实时视频、病例信息及建模传输到云端，医生与实际操作人员可在异地实时对建模进行标注、拆分等动作，实现交流“破冰”，使交流更有效以减少异地造成的信息不对等导致误诊或信息遗漏。

图：mr远程沟通交互场景示意

通过这种方式，医生能突破距离和空间的限制，随时与全国乃至世界各地的医生团队、患者进行远程协作和空间交流，这为未来的医疗模式带来巨大改革。目前不仅支持mr设备间远程协作，还可实现与手机、平板、pc和显示屏等设备同时进行实时远程查看的跨平台互通，使交流方式更加多样化、提高沟通效率。

通过混合现实技术还可以在受控环境中进行沉浸式手术规划与模拟。mr设备可以将手术信息和实时数据以虚拟形式显示给手术医生，医生可以在三维空间中看到患者的解剖结构、血管分布以及病灶位置等，并可于术前进行体位模拟，术式规划、甚至模拟练习手术操作，有了mr工具的加持，手术方案不再停留于抽象的概念，为医生提供更准确的操作引导和决策支持。

图：mr下术前规划与体位模拟，并在实际手术过程中进行定位和体位、切口辅助设计

通过自研的mr定位算法，课题组已实现高精度、轻便与高效定位导航技术，不依托于其他外部工具，在国内率先实现了mr设备在神经外科领域单目导航定位的毫米级精度。把mr设备从单纯的远程交互与教学工具，升级为神经外科手术中可用的高效轻便导航利器。全息立体成像投影在患者头部，医生看见的是立体的、真实的图像，不再需要通过自己的空间想象力进行转换，赋予了医生“透视眼”。mr设备不仅便携、操作简单，其系统价格也要远远低于术中导航设备，这使得基层医院经济负担和操作难度大为减轻，实现了多场景多功能与使用成本的有效平衡。

图：高精度自研mr定位算法

与现有导航设备定位的直观对比

图：通过mr导航技术进行穿刺活检规划

与术中引导，顺利获取样本

四、神外元宇宙初步应用，实现突破

神经外科元宇宙作为促进技术下沉与赋能同质化医疗的关键技术，已初步实现了在三级医疗体系内的成功应用。2022年1月，在国家神经疾病医学中心，国内第一台“元宇宙”高难度锁孔颅底外科手成功实施，标志着华山医院神经外科元宇宙技术正式起航；在国家区域医疗中心，作为促进技术平移和创新的有效工具，“元宇宙”辅助神经外科技术不断开花结果，元宇宙辅助颅底凹陷伴寰枢椎脱位手术、颅内血管瘤手术、脑功能区肿瘤手术等也相继开展实施；在云南、江西、福建、山东等联盟基层医院，源自华山神外的元宇宙“黑科技”不断赋能医者，实现对常见的脑出血、脑积水等急诊手术快速定位，提升基层精准治疗水平。

图：神经外科元宇宙赋能医者，助力同质化诊疗

神经外科的元宇宙技术已被学习强国等多家媒体报道，引起多方关注反响强烈。目前团队初步实现了神经外科元宇宙技术体系核心算法技术全栈自研与围手术期场景全覆盖，并实现了国内混合现实领域医疗器械许可证零的突破。

医疗元宇宙在健康、医学和智能技术领域拥有无限潜力，这不仅是信息技术的迭代革命，也将是医疗技术的颠覆性创新，为国家提供了高效率、精准化的创新医疗服务模式，也为推动优质医疗资源和技术下沉，实现优质医疗服务均衡化提供了一种新的解决方案和可能。华山医院神经外科以赋能医者为初心使命，勇立数智创新潮头，踏上数字化时代新征程，通过积极开展元宇宙技术研究和创新场景应用，以实际行动为健康中国战略贡献力量。

文 |宋剑平、黄虹、张琪、

程思杰、史之峰、马增翼

上观号作者：复旦大学附属华山医院

关键词