中医智能体数字人:“面对面”的中医AI助手,让健康服务更贴心

中医智能体数字人是集成摄像头和触摸大屏的中医智能终端，能与用户进行低延迟对话、采集面色舌苔等信息，模拟问诊过程，并输出诊疗方案与推荐方。大模型为数字人提供知识理解、分析、推理和决策的核心能力。数字人利用大模型的能力，可以在智能设备、机器人、电脑和移动终端等多种媒介提供预诊、医学科普、教学等服务。

（一）大模型驱动

集成中医大模型和知识图谱，系统能自动理解和应用丰富的中医知识。

（二）多模态交互

支持语音、文字、图片等多种输入，配备摄像头和大屏终端，可采集面色、舌象等体征。

（三）实时诊疗对话

用户和数字人可以低延迟实时对话，获得智能问诊、辨证和处方建议。

（四）自动采集与分析

自动收集望闻问切等四诊数据，通过模型智能分析，输出个性化诊疗方案和推荐方。

（五）全过程记录与管理

问诊和诊疗过程全程数字化存储，便于后续追溯和个性化服务。

中医智能体数字人的系统架构如下图所示，整体架构体现了知识图谱与大模型的结合，支持高效检索和多模态交互，为中医脾胃病诊疗提供智能支持。1.数据来源：包括Neo4j数据库（存储知识图谱）、文本数据（通过Cypher查询获取）。2.核心模块：多模态智能体（Multimodal Agent）整合了语音识别（ASR）、大语言模型（LLM）和语音合成（TTS）功能，结合webRTC实现实时交互。3.用户交互：用户通过简单问题输入，由多模态LLM生成最终回答。

智能数字人硬件系统为用户提供精准的诊疗支持。数字人具有低延迟实时对话功能，平均回答延迟约2.2秒，支持多模态语言模型（包括文本、音频、视频），并采用模块化设计，可灵活替换组件以实现不同功能组合。

用户打开数字人系统发起咨询，系统会把本次对话信息先存入“短期问诊记忆”，一段时间后再转入“长期问诊记忆”，方便后续快速关联和个性化服务；在诊疗过程中，核心的“中医诊疗智能体”会根据需要调用不同的工具——面诊模型（拍张脸照分析气色）、舌诊模型（拍张舌苔照看舌象）、脉诊仪（测脉搏波形）——来自动获取望、闻、问、切四诊数据；收集到的四诊信息汇总给“中医四诊”模块，依次做辩证分析（判断证型）、病机分析（追本溯源）、治法治则（定治疗原则），最后输出“诊疗方案及推荐方”。

未来，研发团队将进一步优化其功能：一方面，提升多模态数据采集的精度，如优化舌诊模型对“苔腻程度”的识别、脉诊仪对“脉象类型”的判断；另一方面，拓展应用场景，如集成到家庭养生仪、移动医疗终端中，让用户在家就能享受便捷的中医服务。

中医智能体数字人，不仅是一款智能终端，更是中医药文化传承与创新的载体。它用科技赋能中医，让传统智慧焕发出新的活力，为民众健康保驾护航，推动中医药走向更广阔的未来。