夜雨聆风长期以来行业默认 “参数越大、推理越强”，千亿、万亿参数旗舰模型垄断数学、代码等高难度推理场景，但云端部署成本高、终端本地运行门槛极高。
新浪微博 AI 团队正式开源**VibeThinker-3B**，仅 30 亿参数，却在竞赛级数学、编程推理任务追平、甚至超越数百倍规模的超大模型，彻底打破 “参数即正义” 固有认知，为 AI 轻量化推理落地提供完整技术范式与理论支撑。
全文概述
VibeThinker-3B是由新浪微博AI团队开发的30亿参数紧凑型语言模型，旨在突破小型模型在可验证推理任务中的性能极限。该模型通过优化的Spectrum-to-Signal后训练范式，在数学竞赛、代码生成和科学推理等高难度任务中展现出前沿级表现。其核心创新包括：
1）基于课程学习的监督微调策略，通过两阶段训练实现从广域能力覆盖到深度长程推理的平滑过渡；
2）多域强化学习框架，采用MaxEnt-Guided Policy Optimization算法动态聚焦模型能力边界；
3）离线自蒸馏技术整合多阶段推理能力，以及指令对齐阶段强化复杂约束下的可控性。
实验表明，VibeThinker-3B在AIME26数学竞赛中得分94.3（经Claim-Level Reliability Assessment提升至97.1），LiveCodeBench v6代码生成任务Pass@1达80.2，且在近期LeetCode竞赛中实现96.1%的通过率。
这些指标使其性能与参数规模达数百亿的旗舰模型相当，验证了"参数压缩-覆盖假说"：可验证推理能力可通过结构化参数压缩实现，而开放域知识需依赖参数规模扩展。该研究揭示了小型模型在特定能力域的潜力，为推理系统设计提供了参数效率与能力解耦的新范式。
方法描述
该论文提出了一种名为VibeThinker-3B的语言模型，其目的是通过一系列训练阶段来提高模型在数学、代码和科学推理等领域的推理能力。整个训练过程分为四个阶段：数据合成与过滤、监督微调、强化学习和离线自我蒸馏以及指令式强化学习。
其中，数据合成与过滤阶段采用了自动化的方式，以扩大训练查询范围；监督微调阶段则使用了多路径推理距离来构建响应，以提高模型的多样性；
强化学习阶段则利用了MaxEnt-Guided Policy Optimization算法来进行多领域推理任务的学习，并且在每个领域中都进行了不同的奖励源和验证机制的选择；最后，在离线自我蒸馏和指令式强化学习阶段中，模型被进一步优化，使其能够更好地处理复杂的推理问题。
方法改进
相比于之前的研究，VibeThinker-3B模型采用了更加严格的训练流程，包括更多的质量控制环节和更精细的数据筛选方式。此外，该模型还引入了一些新的技术手段，如多样性探索蒸馏和长到短强化学习策略，以提高模型的推理能力和效率。
解决的问题
该研究旨在解决当前自然语言处理中的一个重要问题——如何让机器具备更强的推理能力。通过对多种领域的数据进行训练，VibeThinker-3B模型可以更好地理解并回答各种复杂的问题，从而为人们提供更好的智能化服务。
论文实验
本文主要介绍了对大型语言模型VibeThinker-3B的评估结果，并与其他小型和大型模型进行了比较。
在数学领域，该模型在AIME25、AIME26、HMMT25、BruMO25和IMO-AnswerBench等基准测试中表现优异，达到了领先水平。
在编码任务方面，VibeThinker-3B在LiveCodeBench v6上表现出色，超过了所有其他模型。
此外，在指令遵循和知识推理等领域也取得了显著成果。作者还使用了Claim-Level Reliability Assessment（CLR）来提高模型的性能，并证明了小模型在许多可验证推理任务中的第一梯队表现能力。
最后，作者还对该模型在LeetCode竞赛中的表现进行了评估，结果显示该模型具有较强的泛化能力和解决实际问题的能力。
总的来说，这些实验表明，经过适当的训练和优化，即使是小型模型也可以达到与大型模型相当甚至更好的性能。
文章优点
该论文提出了一种新的小型语言模型（SLM）——VibeThinker-3B，并对其进行了详细的实验评估。
与传统的大型语言模型相比，VibeThinker-3B具有显著的优点：部署成本低、推理效率高、更易于学术研究。
此外，作者还对该模型进行了全面的后训练管道升级，包括数据合成、质量过滤、课程学习等，以提高其能力范围。最后，通过在多个独立竞赛系统上的广泛评估，证实了VibeThinker-3B的卓越参数效率和有效性。
方法创新点
该论文的主要贡献在于提出了Parametric Compression-Coverage Hypothesis（参数压缩-覆盖假设），即不同类型的模型能力不仅取决于所需的参数容量，还取决于它们的参数需求结构。
基于这一假设，作者将模型能力分为参数密集型能力和参数扩张型能力两类，并进一步解释了为什么VibeThinker-3B在可验证任务上表现出色的原因。
未来展望
该论文为小规模语言模型的研究提供了重要的参考价值，表明即使只有3亿个参数，也可以达到顶尖的大规模语言模型的性能水平。
未来的研究可以探索如何更好地利用小规模语言模型的能力，在不同的应用场景中发挥更大的作用。同时，还需要进一步深入探究参数压缩-覆盖假设的本质，以及如何将其应用于其他类型的语言模型研究中。
