乐于分享
好东西不私藏

养“马”系列:零成本部署个人AI助手

养“马”系列:零成本部署个人AI助手

还在为大模型API费用发愁?还在羡慕别人的个人AI助手?今天教你一个零成本方案: 薅英伟达的免费算力,用你家吃灰的J1900小盒子,部署一个功能强大的 Hermes Agent,并且直接接入微信使用!

不需要昂贵的显卡,不需要复杂的配置,只需要一个邮箱账号和一台能上网的小主机, 就能拥有一个24小时在线、可以通过微信随时调用的个人AI助手。

本文亮点:

  • 完全免费的英伟达NIM推理服务
  • J1900+4G内存即可流畅运行
  • 一键安装Hermes Agent
  • 微信直接接入,随时随地使用
  • 支持70+内置技能,可无限扩展

1薅英伟达的羊毛:获取免费API KEY

首先,我们需要去英伟达官网注册一个账号,获取免费的API KEY。英伟达现在提供了 免费的推理端点服务,支持包括Qwen3.5、Gemma4、Nemotron等在内的众多主流大模型。

操作步骤:

    1. 打开英伟达开发者平台:https://build.nvidia.com/
    2. 使用邮箱注册一个账号(支持国内邮箱)
    3. 登录后,点击右上角的个人头像,选择”API Keys”
    4. 点击”Generate API Key”按钮生成新的API KEY
    5. 给API KEY起个名字(比如”hermes”),然后保存好这个KEY,后面会用到
    图1:英伟达API KEY生成界面

    2找出你家吃灰的小盒子

    Hermes Agent对硬件要求极低,即使是十年前的J1900处理器也能流畅运行。 我用的就是一台闲置的J1900小主机,配置如下:

    hyl@hyl:~$ lscpuArchitecture: x86_64CPU op-mode(s): 32-bit, 64-bitAddress sizes: 36 bits physical, 48 bits virtualByte Order: Little EndianCPU(s): 4On-line CPU(s) list: 0-3Vendor ID: GenuineIntelModel name: Intel(R) Celeron(R) CPU J1900 @ 1.99GHzCPU family: 6Model55Thread(s) per core: 1Core(s) per socket: 4Socket(s): 1Stepping8CPU max MHz: 2415.7000CPU min MHz: 1332.8000BogoMIPS4000.00Virtualization features:Virtualization: VT-xCaches (sum of all):L1d96 KiB (4 instances)L1i128 KiB (4 instances)L22 MiB (2 instances)NUMA:NUMA node(s): 1NUMA node0 CPU(s): 0-3hyl@hyl:~$ free -htotal used free shared buff/cache availableMem3.4Gi 830Mi 248Mi 51Mi 2.7Gi 2.6GiSwap3.7Gi 704Mi 3.0Gi

    没错,就是这么低的配置!4核CPU + 4G内存就足够了。 系统方面,推荐安装Ubuntu 22.04 LTS,这是Hermes Agent官方支持最好的系统。

    推荐配置:

    • CPU:任意x86_64处理器(J1900及以上)
    • 内存:至少4GB(推荐8GB)
    • 存储:至少16GB SSD
    • 系统:Ubuntu 22.04 LTS
    • 网络:稳定的互联网连接

    3一键安装Hermes Agent

    Hermes Agent是由Nous Research开发的开源AI代理框架,它最大的特点是 自带学习循环,能够从经验中创建技能,并且支持几乎所有主流的大模型提供商。

    安装过程非常简单,只需要一行命令:

    $ curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash

    这个安装脚本会自动处理所有依赖,包括Python环境、必要的系统包等。 安装完成后,重新加载shell配置:

    $ source ~/.bashrc如果你使用zsh,则执行:$ source ~/.zshrc现在,你可以启动Hermes Agent了:$ hermes

    小知识:

    Hermes Agent支持Linux、macOS、WSL2,甚至可以在Android的Termux上运行。 如果你是从OpenClaw迁移过来的,还可以使用hermes claw migrate命令一键迁移所有配置。

    4配置Hermes Agent

    第一次启动Hermes Agent后,会进入配置向导。我们需要选择模型提供商和具体的模型。

    4.1 选择NVIDIA NIM作为模型提供商

    在模型提供商列表中,找到并选择NVIDIA NIM

    然后输入你之前在英伟达官网获取的API KEY。验证通过后,就可以选择具体的模型了。 我推荐使用Qwen3.5-32B-Instruct,这是目前综合表现最好的开源模型之一。

    4.2 配置微信接入

    最激动人心的部分来了!Hermes Agent支持直接接入微信,这样你就可以通过微信随时随地和你的AI助手聊天了。

    首先,退出当前的对话界面,然后运行以下命令配置消息网关:

    hermes gateway setup

    在平台列表中,选择Weixin / WeChat

    4:消息网关配置界面

    按照提示操作,使用微信扫码登录。登录成功后,启动网关服务:

    hermes gateway start

    现在,打开微信,找到”文件传输助手”,发送一条消息,你就可以和你的个人AI助手聊天了!

    5体验Hermes Agent的强大功能

    Hermes Agent内置了70+技能,涵盖了代码开发、研究写作、系统管理、智能家居等多个领域。 你可以通过/skills命令查看所有可用技能。

    更厉害的是,Hermes Agent具有自学习能力。当你教它完成一个复杂任务后, 它会自动将这个过程转化为一个可复用的技能,下次遇到类似问题时就可以直接使用了。

    总结

    今天我们用不到10分钟的时间,零成本部署了一个功能强大的个人AI助手。 整个过程不需要任何编程知识,只需要跟着步骤操作即可。

    这个方案的优势在于:

    • 完全免费
      :利用英伟达的免费推理服务,没有任何费用
    • 硬件要求低
      :J1900小盒子就能跑,不浪费闲置资源
    • 功能强大
      :70+内置技能,支持自学习和无限扩展
    • 使用方便
      :直接接入微信,随时随地使用
    • 隐私保护
      :所有数据都保存在本地,不用担心隐私泄露

    快去找出你家吃灰的小盒子,部署一个属于你自己的AI助手吧! 如果在部署过程中遇到任何问题,欢迎在评论区留言交流。

    养马系列 · 专注于AI Agent本地部署与应用

    本文基于Hermes Agent v0.11.0撰写 | 所有代码均已在Ubuntu 22.04上测试通过