夜雨聆风
整体架构分为视觉数字人层、语音交互层、LLM智能决策大脑层、弹幕采集与场控层、推流开播层5大模块，下面依次给出完整搭建流程、全套AI软件（中英名）、软件核心功能、各模块精准可用提示词。
一、整体完整搭建流程（标准化落地步骤）
总数据流链路
直播间弹幕采集 → ASR语音/文字解析过滤 → LLM直播智能体（人设+知识库+互动逻辑）生成回复文案 → TTS情感语音合成 → 数字人驱动口型/表情/肢体动作 → OBS推流至抖音/视频号/快手直播间
分步搭建流程
1. 第一步：硬件环境准备
最低配置：CPU i7/R7、显卡RTX3060及以上、16G内存；如需本地部署大模型建议RTX4070Ti。
2. 第二步：搭建视觉数字人形象（主播画面主体）
3. 第三步：搭建语音链路（ASR识别+TTS配音+声音克隆）
4. 第四步：搭建智能大脑LLM智能体（核心，决定是否智能互动），搭建RAG直播专属知识库
5. 第五步：弹幕抓取、过滤、触发规则配置
6. 第六步：OBS画面整合、推流调试、合规设置、7×24无人开播测试
7. 第七步：数据迭代优化话术、提示词、互动逻辑
二、全套AI软件清单+中英文名称+详细功能
模块1：数字人视觉生成驱动软件（画面层）
表格
中文名称 英文名称 核心功能 适用场景
即梦AI Dreamina 字节数字人生成，图片驱动数字人、实时口型同步、短视频/直播数字人生成、自定义人像、9:16竖屏高清输出 知识主播、个人IP数字分身直播
硅基HeyGem HeyGem.ai 图片/视频克隆真人数字人，本地部署，高精度口型匹配，支持直播实时驱动 带货无人直播、企业虚拟主播
商汤如影 SenseAvatar AI直播智能体一体化平台，自带直播Agent、直播间复刻、数字人+场控一体化、智能切品互动[__LINK_ICON] 电商带货一站式直播
Unity引擎 Unity 3D虚拟数字人建模、Live2D驱动、动作捕捉、自定义虚拟场景搭建 二次元虚拟主播、3D虚拟主播
Live2D Cubism Live2D Cubism 2D皮套虚拟主播制作，摄像头面部捕捉驱动表情 B站虚拟主播、娱乐聊天直播
MetaHuman MetaHuman UE超写实数字人快速捏脸，精细微表情、面部骨骼绑定 高端写实IP数字人直播
模块2：语音AI工具（ASR语音识别+TTS语音合成）
表格
中文名称 英文名称 核心功能
OpenAI语音识别模型 Whisper 直播间观众语音转文字、弹幕语音解析、多语言识别、噪音过滤，全局ASR首选
微软语音合成 Azure TTS 带情感语调TTS、停顿自然、支持自定义音色克隆、沉稳男声/知性女声商用稳定
讯飞星火语音 iFlytek TTS 国内本地化语音克隆，30秒人声克隆，直播话术情绪自动切换（激昂/温和）
Coqui开源语音 Coqui TTS 本地免费部署TTS，无API费用，适合长期无人直播降本
SO-VITS-SVC SO-VITS-SVC 音色音色转换，把AI合成语音转为你本人声线
模块3：LLM大模型智能体大脑（核心决策层）
表格
中文名称 英文名称 核心功能
GPT-4o GPT-4o 多模态理解、长上下文记忆、弹幕意图判断、直播话术动态生成、复杂互动推理、RAG知识库调用、结构化输出JSON指令
通义千问 Qwen 阿里国内商用大模型，合规性强，内置电商直播插件、弹幕风控、敏感词过滤
文心一言 ERNIE Bot 百度，直播场景优化，知识库挂载稳定，适配国内平台直播规则
GLM-4 GLM-4 长记忆优秀，适合长时间直播上下文连贯对话，不易答非所问
Llama3开源大模型 Llama 3 本地私有化部署，无调用次数限制，自建本地直播智能体
模块4：弹幕采集、场控、整合调度工具
表格
中文名称 英文名称 核心功能
弹幕姬 DanmakuJi 抓取抖音、B站、视频号直播间实时弹幕、过滤垃圾弹幕、关键词触发指令
FastAPI调度接口 FastAPI 自建服务，串联ASR→LLM→TTS→数字人全链路数据互通，自定义逻辑调度
