我不会写代码,但正在用AI手搓一个医学影像三维重建软件 (进度分享)

持续关注数字医工坊公众号的朋友大概都知道，我一直在做一个长期的支线任务-用Ai搭建数字医学影像三维重建软件。

之前做的是网页版，现在进度分享这个是本地可安装运行的版本。

最近有人问我：你那个用AI搓的医学影像软件，到底搓成什么样了？

说实话，每次被问到这个，我心里都有点复杂。

一方面，确实做出了点东西，四视图、DICOM加载、体渲染、分割、3D模型、测量、标记、变换......这些功能，跑起来还真能用。

另一方面。。。。bug也确实不少。

下面是开发进展视频及功能介绍，可以直接观看。

已关注

关注

重播分享赞

视频详情

或去B站：自信速VX账号下去观看https://www.bilibili.com/video/BV1HzTD6PECm/?spm_id_from=333.1387.homepage.video_card.click&vd_source=3bbf3f763b07092cc90bf4ffde2aaba4

下面是图文版

今天就来跟大家坦诚地聊一聊，这个项目的真实进展。不吹也不黑，好的坏的都摆出来。

先说个大前提：我不会写代码，没有软件编程基础。

这套东西，纯粹是靠AI，通过提示词的方式，给它搭框架、立规矩，一步一步搭出来的。

对标的是什么？Mimics和3-Matic。

对，就是那个Materialise家的Mimics。比利时人做了30年的行业标杆，我拿来当一个练手项目的靶子。

说出来自己都觉得离谱。

能做到什么程度？

直接加载DICOM。

点一下"加载DICOM"，CT数据就出来了。标准的四视图——冠状面、矢状面、横断面、3D视图，和Mimics一样的布局。

说实话，整个界面的布局，我参考的就是Mimics。包括文档菜单、编辑菜单、图像菜单、视图菜单，这些经典的排布方式。

说白了就是山寨。

但我本身就不是搞软件开发的，也没有代码基础，纯粹靠AI通过提示词来做。能达到这个效果，我觉得也还勉强，能符合基本要求。

文档菜单下，可以新建项目、导入DICOM、导入网格、导出多种格式——包括FEA的一些格式。

图像菜单下，窗位窗宽的调整、预设窗位窗宽、多平面重建、体渲染，这些都是有的。

体渲染：还算能看

体渲染这块，我还是花了些心思的，当然基础代码参考来3Dslicer体渲染模块。

开启体渲染以后，有预制的多种体渲染模式，可以直接点切换，查看不同的渲染效果。

如果预设的都不满意，还可以手动调参数来做自定义的渲染预设。不满意就重置回来，挺方便的。

还有一个体积裁剪功能——开启以后，可以利用框选工具对体渲染进行裁剪，拖动就能交互式地切割，查看内部结构。

另外我还加了一些矩形框选和套索工具。套索有个好处，就是可以把不需要的区域直接删掉。

这些小功能，用起来还是有点意思的。

分割：手工和AI两条路

分割这块，可能是大家最关心的。

AI分割，用的是TotalSegmentator的方案。基于nnU-Net框架，能自动分割CT图像中的117个解剖结构——骨骼、器官、血管，基本全覆盖。这个开源项目由巴塞尔大学医院团队开发，发表在Radiology AI上，Dice评分0.943，在同行评审中表现相当能打。

但这里我不展开演示了，因为跑起来还是相当耗时间的，而且打开的时候会有点卡顿。

手工分割才是我重点要说的。

预设分割，可以自己设置参数，也可以通过调节滑块来得到想要的效果。二维蒙版和三维蒙版都支持。

分割完以后，开启三维蒙版显示，就能在3D视图里看到分割结果。

蒙版编辑也做了一些工具——绘制、擦除，支持多种操作方式。同时把三维蒙版显示打开，你在2D上画的东西，3D里也能实时看到。

擦除的话，套索也支持。在3D视图里也能直接擦除。

但是——

这里有个bug。

在3D视图里用套索擦除的时候，虽然功能能用，但是那个黄色的套索路径没有显示出来。2D视图里是有的，3D里就看不到。

之前是有的，可能某个操作触发了这个问题。回头还得调（截止发稿前这个功能已经调试完毕，目前已解决）。

这就引出了一个很核心的问题：功能能用，和生产级别能用，是两码事。

3D模型与测量

蒙版转3D模型，点一下就行。转完以后以网格形式显示出来，支持显示/隐藏，还支持光滑显示。

测量这块，我做了两套：

切片测量：距离测量、ROI区域测量、单点测量，还有质量图和统计直方图。测量结果会显示在下方属性面板里，也可以做文本标注。不需要的话，清除当前屏幕或者全部清除都行。

3D测量：在建模模块下创建一个3D模型（比如圆锥、圆柱、球体），然后可以做点到点的距离测量、点到面的距离测量。

点到面测量这个，当时花了不少时间才做出来。它会自动识别面，然后给出距离数值。

这些测量结果不需要了，右键直接删掉就行。

截面分析：能用，但有bug

截面分析可以开启裁剪，查看模型的截面情况。

下面的计算数值是可以跟随截面变化实时更新的——这个倒是没问题。

但是显示上有点诡异。有些模型能切开，有些切不开。切换不同模型的时候还存在一些问题。

创建一个球体能切开，但之前的模型就切不开。。。。这种不确定性，就是目前最让人头疼的地方。

还有什么没做的？

网格修复——没准备好的模型，不好演示。

网格划分——说实话，没实现。

选择模块、网格标记——这些功能已经实现了，标记以后不想要的面可以右键删除。

交互式的移动旋转——实现了，用起来挺方便。

剩下的模块，开发的难度越来越大。网格划分、FEA前处理这些，每往前走一步都是硬骨头。

诚实地谈谈问题

我不藏着掖着，现在这个软件的问题很明显：

1. Bug不少

3D视图套索路径不显示、截面分析切不开、不同模型切换有问题。。。。这些都是实实在在的bug。

2. 流畅度不够

功能是实现了，但操作起来离"丝滑"还有距离。真正到生产级别能用的话，还有很长的路要走。

3. 深层功能缺失

网格划分没做、FEA前处理没做、高级网格修复没做。越往后开发的难度越大。

4. 稳定性堪忧

同一个功能，换一个模型可能就出问题。这种不确定性是最大的隐患。

横向看看：开源世界在做什么？

做这个项目的过程中，我也一直在关注开源医学影像领域的动态。说几个代表性的开源方案对比表：

3D Slicer做了20多年，全球下载量超200万次，NIH持续资助，背后是整个社区的合力。InVesalius从2001年开始做，巴西国家信息技术中心主导，在牙科和骨科领域已经有成熟的临床应用。MITK是中科院田捷研究员团队的心血，从2004年到现在，2万+下载量，是亚洲唯一入选全球TOP10计算机辅助外科算法平台的。

我做的这个，跟它们比？说实话，差得远。

但我做的事情和它们有个本质区别——我是零代码基础，纯靠AI提示词来搭建的。它们是专业团队用C++/Python一行一行写出来的。

路径不同，天花板也不同。这个我心里很清楚。