夜雨聆风学习资料网

ARTICLE · 1225143

工具 · 万一AI跑路了,你的电脑能自己养一个大模型吗?

工具 · 万一AI跑路了,你的电脑能自己养一个大模型吗?
All that you do, do with your might; things done by halves are never done right. 做一切事情都应尽力而为,半途而废永远不行。
看到新闻,运行了才3年的角色扮演的AI聊天机器人Character AI申请破产保护,准备出售资产。注意,不是已经关门,目前平台还在运营,但未来能不能继续运营,还要看后续的出售情况。

以前我们觉得,互联网服务嘛,注册个账号就能用,方便得很。可万一哪天公司经营不下去了,或者突然改变收费策略,甚至直接停止服务,你存在里面的数据和积累怎么办?

当然,不是说AI行业马上就要迎来倒闭潮,但有些重要数据和工作流程,确实不能把鸡蛋全放在别人家的篮子里。

所以,能不能在自己电脑上跑一个AI大模型?

答案是:可以!

问题来了,你手里的电脑到底能跑多大的模型?是不是非得买一张万元显卡才能玩?

今天分享一个挺有意思的开源项目:CanIRun.ai。

🔗 官网:https://www.canirun.ai/

它的功能非常简单粗暴:打开网站,看看你的电脑能跑哪些AI模型。

不需要注册账号,也不用先下载安装一堆软件。用浏览器打开网站,它就会尝试识别你的CPU、内存和显卡等硬件信息,然后推荐适合你的AI模型。

想拿AI聊天?想让AI帮忙写代码?还是想试试推理能力更强的模型?网站都能按不同用途给出推荐。像我的电脑,只适合做一些文字相关的事情,图像和视频都不行。

它还会给模型打分,让你大致知道哪些模型比较适合自己的电脑,哪些属于“看着很美好,跑起来电脑直冒汗”。

当然,这些结果也是根据硬件参数估算的,实际运行速度还会受到模型大小、量化方式和软件环境等因素影响。它不是跑分软件,更不能保证推荐的模型一定对。

还有一点要特别说明:CanIRun.ai本身不是AI大模型,也不是点一下就能直接聊天的工具。它更像是给电脑做一次“AI体检”,告诉你适合养哪只AI。真正要把模型运行起来,还需要借助 Ollama、LM Studio 或项目提供的 runai 等工具。

如果你对隐私比较敏感,还可以研究一下把这个项目部署在自己的内网里,供局域网内的设备访问。项目的硬件检测是在浏览器本地完成的,官方说明检测结果不会上传到服务器。不过,内网部署这个网站,并不等于AI模型本身已经部署好了。

最后说句实在的。

普通人不必为了跑大模型马上升级电脑。先打开 CanIRun.ai 测一测,说不定手里的旧电脑就能跑一些够用的小模型。

如果你有一些不方便交给第三方AI处理的资料,或者不想被某个AI平台的收费和服务变化牵着鼻子走,那么本地AI确实值得了解一下。

毕竟,云端AI再聪明,也是借住在别人家里;本地AI虽然未必那么聪明,但至少电脑还在自己手里。

相关学习资料