乐于分享
好东西不私藏

llmfit自动匹配可稳定运行的 AI 本地大语言模型软件

llmfit自动匹配可稳定运行的 AI 本地大语言模型软件

llmfit自动匹配可稳定运行的 AI 本地大语言模型软件

最近一些资源限制管理比较严,无法在公众号上分享,只能在群里给大家共享,进群看群公告!遵守群规,违者秒踢!本公众号分享的所有软件群里都能找到!!!

加入群聊,更多好用工具等你来取!!!

我的微信

如果软件不可用、不会用、想要其他资源可以在群里沟通或者私信我。

llmfit自动匹配可稳定运行的 AI 本地大语言模型软件

简介

llmfit 是 AlexsJones 使用 Rust 开发的跨平台终端工具,工具核心作用是依据本机硬件配置筛选、匹配可稳定运行的本地大语言模型。

核心功能

硬件自动探测:读取可用内存、CPU 核心、显卡显存(NVIDIA/AMD/Apple Silicon Metal)。

多维模型评分:从输出质量、推理速度、硬件适配度、上下文承载能力四个维度打分排序。

量化方案预估:自动测算不同量化等级(Q4_K_M、Q5_K_M 等)的内存占用,预判 OOM 风险。

筛选检索:支持按参数规模、适用场景(代码、通用对话)、推理后端过滤模型列表。

社区基准面板:调取其他用户实测的生成速度(tok/s)、首包延迟(TTFT)参考数据。

导出能力:支持输出 JSON 格式推荐结果,便于脚本自动化调用。

下载

我用夸克网盘给你分享了「【0000464】【260201】【llmfit】」,点击链接或复制整段内容,打开「夸克APP」即可获取。

链接:https://pan.quark.cn/s/2ac8809fed84

安装

exe 版双击安装,指定你要安装的文件夹安装后即可使用!

zip 版解压即可使用!

使用