花半天搭了个AI助手,我把整套方案开源了

上周搭了一套内部AI助手，从零到上线用了不到半天。比我想象的简单太多。

传统玩法是什么？买GPU、装驱动、配CUDA、搞PyTorch、部署模型、写前端界面……一套下来少说两周。这次我直接用了腾讯云HAI+OpenWebUI，三分钟实例跑起来，半小时调通，剩下的时间全在折腾知识库。

今天把完整过程写出来，给想在团队内部落地AI的兄弟一个参考。

为什么要搞远程算力调度？

先说说背景。我们团队最近想给内部配个AI助手，写周报、润色邮件、查技术文档、帮运营编文案，功能不复杂，真动手就头疼了。

显卡买不起。 一块能跑7B模型的显卡大几千，还得配服务器、搭环境。环境配置反人类。 CUDA版本和PyTorch对不上、驱动挂了、依赖冲突，开发进度直接归零。知识库更麻烦。 光接个通用大模型没用，得让AI能读懂内部文档，涉及RAG，自己撸一套向量检索太费劲了。

思路很明确：算力上云，交互本地化。HAI解决算力和环境，OpenWebUI解决交互和知识库。

HAI+OpenWebUI是什么？

HAI是腾讯云的GPU算力服务，说白了就是给你一台已经装好所有环境的GPU服务器。CUDA版本、Python环境、驱动兼容性全给你整好了。

几个打动我的点：部署两三分钟搞定，比自建快太多了；关机不计费，下班停了就省钱；预装DeepSeek全系列、LLaMA、QwQ这些主流模型，选镜像的时候勾上就行。

算力规格怎么选？我整理了一张表：

我们日常用选了进阶型24GB，跑32B模型绰绰有余。

OpenWebUI是一个自托管的AI聊天界面，长得像ChatGPT，但完全跑在自己服务器上。数据不出门、支持多模型切换、内置RAG能力，而且HAI预装了它，点开就能用。

完整搭建过程

第一步：开HAI实例（3分钟）

登录腾讯云控制台，找到HAI，选地域和算力规格，应用镜像选预装DeepSeek+OpenWebUI那个，网络选VPC模式，点创建等两三分钟。第一次点创建的时候我还有点怀疑，结果真就这么快。

第二步：配置OpenWebUI（5分钟）

实例运行后，控制台上有个“算力连接”入口，点进去就是OpenWebUI初始化页面。注册管理员账号，然后进管理员设置→连接配置→OpenAI API，把地址改成：

http://你的HAI实例公网IP:6399/v1

保存，回到聊天页面就能选模型对话了。踩了个坑：IP填错了，要注意是公网IP不是内网IP。

第三步：搭建知识库（30分钟）

让AI读懂内部文档是核心需求。HAI预装了AnythingLLM，把产品手册、技术文档、合同模板传上去，系统自动切片、向量化，问问题时AI会先去文档库里检索相关内容再生成回答。

比如问“SLA承诺是多久”，AI能从合同模板里精准定位到相关条款，而不是瞎编。我们传了大概50份文档，不到半小时处理完。

第四步：安全配置和成本控制（10分钟）

安全方面：配HTTPS证书、设IP白名单、开启接口限流。HAI的机密计算功能也开了，模型权重和数据全程加密。

成本方面几个经验：下班关机，一个月省差不多40%；按需选规格不浪费；有次全员培训要用AI演示，提前把实例升一档，用完了降回来。

几个实际踩过的坑

OpenWebUI连不上HAI。 检查API地址是不是http://IP:6399/v1，以及安全组有没有放通6399端口。

响应慢。 先看模型是不是选太大了。多人同时用的话开启共享KVCache，并发效率明显提升。

知识库回答不准确。 检查文档格式，AnythingLLM对PDF和Markdown支持最好。温度参数调到0.2左右，回答更严谨。

费用比预期高。 有个月忘了关机，连着跑了一周。现在设了定时任务，晚上自动停，早上自动开。

效果怎么样？

跑了快两个月了，写周报以前磨蹭半小时，现在AI生成框架再改改，十分钟搞定。技术同学查报错信息直接贴进去问，比Google快。新来的运营不用再翻几百页旧文档，问AI就行。成本比自己买卡搭环境省了大概40%，也不用专人运维。

总结

HAI解决了算力和环境——不用买卡、不用装驱动、不用配CUDA。OpenWebUI解决了交互和知识库——有界面、能传文档、能管多模型。两个加起来，一个团队级的AI助手，半天内从零跑到上线。

工具链成熟了，个人开发者和中小团队也能低成本把这事办了。

你们现在用的什么方案？欢迎评论区聊聊。

推荐一个受到超多好评的终生学习小程序「学习站」。