llmfit自动匹配可稳定运行的 AI 本地大语言模型软件
最近一些资源限制管理比较严,无法在公众号上分享,只能在群里给大家共享,进群看群公告!遵守群规,违者秒踢!本公众号分享的所有软件群里都能找到!!!
加入群聊,更多好用工具等你来取!!!
我的微信

如果软件不可用、不会用、想要其他资源可以在群里沟通或者私信我。
llmfit自动匹配可稳定运行的 AI 本地大语言模型软件
简介
llmfit 是 AlexsJones 使用 Rust 开发的跨平台终端工具,工具核心作用是依据本机硬件配置筛选、匹配可稳定运行的本地大语言模型。
核心功能
硬件自动探测:读取可用内存、CPU 核心、显卡显存(NVIDIA/AMD/Apple Silicon Metal)。
多维模型评分:从输出质量、推理速度、硬件适配度、上下文承载能力四个维度打分排序。
量化方案预估:自动测算不同量化等级(Q4_K_M、Q5_K_M 等)的内存占用,预判 OOM 风险。
筛选检索:支持按参数规模、适用场景(代码、通用对话)、推理后端过滤模型列表。
社区基准面板:调取其他用户实测的生成速度(tok/s)、首包延迟(TTFT)参考数据。
导出能力:支持输出 JSON 格式推荐结果,便于脚本自动化调用。
下载
我用夸克网盘给你分享了「【0000464】【260201】【llmfit】」,点击链接或复制整段内容,打开「夸克APP」即可获取。
链接:https://pan.quark.cn/s/2ac8809fed84
安装
exe 版双击安装,指定你要安装的文件夹安装后即可使用!
zip 版解压即可使用!
使用

夜雨聆风