新技术让AI模型在学习中更轻更快

研究人员近期提出了一种名为 CompreSSM 的新技术，可在人工智能模型训练过程中主动剔除不必要的复杂结构，在不影响模型性能的前提下有效降低计算成本。该方法通过在训练早期识别模型中真正发挥作用的部分，并有针对性地移除冗余组件，实现模型在学习过程中持续“瘦身”和提速。

CompreSSM 主要面向一类被称为状态空间模型（state-space models）的人工智能架构。这类模型已广泛应用于语言处理、音频生成以及机器人等多个领域。

研究团队借助控制理论中的数学工具，对模型内部各部分的重要性进行分析，区分哪些状态真正支撑模型学习，哪些则属于“无效负担”。基于这一判断，系统能够在训练尚未完成时，就提前移除那些对模型发展帮助有限的部分，从而减少后续训练所需的计算资源。

论文第一作者、电子工程与计算机科学博士生、CSAIL 附属研究人员 Makram Chahine 表示，这项技术本质上是“让模型在训练过程中变得更小、更快”的方法。

他指出，模型在训练初期的“预热阶段”能够捕捉大部分复杂动态，因此即便后续只保留最有价值的状态，模型依然可以继承大模型在早期学习中建立的优势。相比从一开始就训练一个小模型，这种方式通常能够获得更高水平的表现。

为验证这一方法的可行性，研究人员从理论和实验两个层面进行了论证。团队利用 Weyl 定理 证明，在训练过程中，各个模型状态的重要性会以平滑的方式变化；与此同时，实验结果表明，这些状态之间的相对重要性排序总体保持稳定。

这意味着，在训练早期被识别为可忽略的维度，后续突然变得至关重要的可能性较低。这一发现为研究人员和实际应用者提供了更强的信心，也使 CompreSSM 的精简策略具备更扎实的理论依据。

Makram Chahine 表示，从状态空间模型切入，是因为这一方向具备清晰且严谨的理论基础，有助于确保方法保持原则性和可解释性。他认为，这项工作是迈向更广泛应用的重要第一步，也为未来将类似思路拓展到当前工业界使用的其他主流人工智能架构奠定了基础。

[机器洞察网出品]  [刘智勇频道] [真机智能(zhenrobot.com)] [真机算法] [真机资本(zhencap.com)] [真机skill(zhenskill.com)] [真机team(zhenteam.com)] [真机宇宙(zhenmeta.com)] [真机请人(zhenrent.com)] [真机合约(zhencontract.com)] [真机记忆(zhenmem.com)] [真机保险(zhenins.com)] [真机学院(zhencollege.com)] [机器姬永生人] [机器洞察网] [AI之星网] [风投高科网] [猛虎财经网] [硅基科学网] [人形纪元网] [真机量化(zhenquant.hk)] [真机内参] [真机尽调(zhendue.com)] [高能判官] [片场狂徒] [暴徒外放] [Cognition OS] [Embodied OS] [黄金广告位]

📚 【精品资源】添加关注『机器洞察网微信公众号』，即可免费获取完整版《刘智勇频道第五卷》