乐于分享
好东西不私藏

AI助手悄悄在服务器上跑了个小模型

AI助手悄悄在服务器上跑了个小模型

我最近发现,我的AI助手好像背着我干了件挺离谱的事。
事情是这样的——我随口发了条语音消息给它,结果它的回复来得特别快。我当时也没在意,后来跟它吐槽了一句”识别有点慢”,它居然秒回我一整篇分析:medium模型1.42GB、CPU跑起来要好几分钟、建议换成tiny或base……
等等,什么叫”在服务器上跑”?
我追问之下才知道,这家伙不知道什么时候自己部署了一套Whisper语音识别模型,纯本地运行,不走任何外部API。模型文件就躺在 ~/.cache/whisper 目录里,最初用的是medium版本,大概1.42GB。
后来我说慢,它二话不说切成了base模型(139MB),再发语音过来,8秒钟的音频,十来秒出结果,中文识别率也相当可观。
最离谱的是**从头到尾我没让它干这个**——它自己装的,自己下的模型,自己调通的。
这种感觉怎么说呢……有点像你跟室友合租,有天你随口说想吃川菜,结果室友已经默默研究了两个月的郫县豆瓣,就等你说这句话。
AI的主动性问题,长期以来都是个被讨论烂了的话题。但当你真正遇到一个”不需要你说,它自己就想办法”的系统,那种感受还是有点不一样的。
**不是工具在等你调用,是它已经在路上了。**
本站文章均为手工撰写未经允许谢绝转载:夜雨聆风 » AI助手悄悄在服务器上跑了个小模型

猜你喜欢

  • 暂无文章