夜雨聆风LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 AS - 音频与语音 AI - 人工智能
1、[CL] HRM-Text：Efficient Pretraining Beyond Scaling
2、[LG] General Preference Reinforcement Learning
3、[AI] Generative Recursive Reasoning
4、[CV] RT-Splatting：Joint Reflection-Transmission Modeling with Gaussian Splatting
5、[AS] Stable Audio 3
摘要：超越规模扩张的高效预训练之道、广义偏好强化学习、生成式递归推理、基于高斯泼溅的反射与透射联合建模、Stable Audio 3
1、[CL] HRM-Text: Efficient Pretraining Beyond Scaling
G Wang, C Liu, C Wang, C Zhou…
[Sapient Intelligence & MIT] (2026)
HRM-Text：超越规模扩张的高效预训练之道
要点:
挑战了当前的缩放定律（Scaling Law）教条，即基础大语言模型的预训练必须依赖庞大的算力集群和数万亿的互联网原始文本token。 提出了极其反直觉的证明：完全从头开始（from scratch）仅在“指令-回复”对上进行预训练（使用任务完成目标 和PrefixLM掩码），能够绕过传统的无监督原始文本预训练阶段，直接赋予模型强大的通用基础能力。 引入了分层循环模型（HRM）用于语言建模，灵感来自生物系统中的多时间尺度处理机制，将计算解耦为慢速演进的策略层（H模块）和快速演进的执行层（L模块）。 提出了“MagicNorm”，一种巧妙的不对称归一化策略：在前向传播中，它像PostNorm一样限制激活方差的无限增长；但在截断反向传播（TBPTT）中，它表现得像PreNorm，从而保证了梯度流的极度稳定。 实施了“预热深度信用分配（warmup deep credit assignment）”策略，在训练初期缩短截断反向传播视距（K=2），随着模型稳定动态增加视距（K=5），有效避免了深度循环网络初始化时的优化病态问题。 给出了令人震惊的实证结果：仅用400亿（40B）独特token、花费1500美元预算（16张GPU训练1.9天）从头训练的1B参数HRM-Text模型，其基准测试性能（MMLU 60.7%， ARC-C 81.9%， GSM8K 84.5%）即可媲美甚至超越那些使用了100-900倍数据和96-432倍算力的2B-7B顶级开源模型（如Llama 3.2 3B， Qwen 3.5 2B， Gemma 3 4B）。 有效深度分析（Effective depth analysis）表明，与标准或简单循环的Transformer不同（后者在深层容易出现表征过度平滑现象），HRM在其最深的递归层中仍能保持活跃且有意义的表征变化，未发生分布坍塌。
主旨： 解决当前大型语言模型（LLMs）预训练对海量算力和万亿级原始文本数据的极端依赖问题，这种“暴力美学”导致基础AI研究门槛过高。论文旨在通过协同设计具备结构先验的新型架构（分层循环模型）和聚焦的训练目标，以极高的样本效率大幅降低算力与性能的比率，证明低成本从头预训练基础大模型的绝对可行性。
创新：
架构创新：引入受生物学启发的多时间尺度分层循环模型（HRM），通过快慢解耦的H模块（维持稳定语义）和L模块（局部迭代寻优）进行具有高计算深度的推理。 稳定机制创新：发明了“MagicNorm”（巧妙利用前向全局计算与截断反向传播之间不对称性的归一化方法）和“预热深度信用分配”策略，成功将过去极其脆弱难训的深层循环架构无缝扩展到语言建模任务中。 训练范式创新：打破了必须用“海量原始文本自回归”作为大模型基石的传统，直接从随机初始化开始，完全基于高质量“指令-回复”对进行条件生成预训练，并结合PrefixLM注意力掩码（指令双向可见，回复因果生成）。
贡献：
理论与实证贡献：提供了“高效低资源预训练是完全可行的”强有力经验证明，揭示了计算深度和任务完成目标可以极大弥补训练token数量的不足。 技术贡献：为深层循环神经网络（RNN）在Transformer时代的复兴和大规模语言建模应用扫清了梯度不稳定的技术障碍。 社区贡献：打破了少数科技巨头的算力垄断，将基础大语言模型从头预训练的门槛降低至学术界小实验室甚至个人可承受的范围（约1500美元），推动了基础AI研究的民主化。
提升：
资源效率的大幅跨越：HRM-Text 1B 在仅使用40B独特token和极少算力的情况下，在数学推理（MATH 56.2%， GSM8K 84.5%）、常识（ARC-C 81.9%）和阅读理解（DROP 82.2%）等维度上，效果超越或战平了消耗96至432倍算力、100至900倍数据的现代主流大模型（如Qwen3.5 2B、Llama3.2 3B）。 网络有效深度计算的提升：通过Logit Lens和隐藏层余弦相似度分析，证明该方法显著改善了深层网络的有效计算深度，避免了传统Transformer由于层数增加带来的“表征同质化（过度平滑）”问题。
不足：
模型规模验证有限：目前实验仅在1B规模（基线为3B规模）上验证了有效性，该架构及其优化策略在扩展至10B或100B以上工业级参数规模时，是否依然遵循此高效缩放规律仍需未来验证。 长尾事实性知识储备局限：由于仅使用了40B独特token且主要聚焦于指令和推理型数据，尽管模型的“智力（推理执行）”极高，但其对广泛、冷门事实性知识（Factual Knowledge）的广度记忆可能不如那些在数十万亿原始网页上“填鸭式”训练的传统模型。 工程落地的兼容性摩擦：PrefixLM的多轮对话应用以及循环深度的动态展开，在现有的主流推理框架（如vLLM）中需要定制化修改KV Cache的管理和注意力掩码逻辑，存在一定的工程迁移成本。
心得：
重新审视“Scaling Law”与“预训练必须用海量垃圾文本”的思维定势：学界和工业界长期认为必须先用海量无监督文本建立通用表征，才能进行SFT（指令微调）。本文极其反直觉地证明，只要你的数据对（Instruction-Response）质量够高，结合PrefixLM直接从头开始训练，依然能高效涌现出强大的常识和推理能力。这启发我们在数据受限或垂直领域，可以直接跳过昂贵的通用预训练。 归纳偏置（Inductive Bias）的价值在算力瓶颈期凸显：在Transformer的“暴力美学”逐渐遇到边际效益递减的今天，借鉴生物神经系统的多时间尺度设计（HRM的快慢解耦系统）能让模型用更少的参数实现更深的“思考（计算）”。这提醒我们，架构设计的红利远未结束，聪明的结构先验能够换取巨大的算力节省。 利用前向与反向传播的“时间差”解决优化死结：MagicNorm的设计极其精妙，它看到了前向传播是全局累积的（需要PostNorm控方差），而截断反向传播只看局部（需要PreNorm通梯度）。这种在正反向计算图特征上“钻空子”、“偷梁换柱”的工程智慧，为解决困扰深度学习多年的深层循环网络梯度消失/爆炸提供了一个极佳的破局思路。
一句话总结: 本文打破了LLM预训练必须依赖万亿文本和海量算力的缩放教条，通过反直觉的“完全跳过原始文本、直接用指令对从头预训练”范式，结合首创的多时间尺度分层循环架构（HRM）与MagicNorm稳定机制，仅用400亿token和1500美元就训练出了性能媲美消耗数百倍算力的7B级开源模型的1B大模型，为资源受限下的AI基础研究开辟了革命性的新路径。
The current pretraining paradigm for large language models relies on massive compute and internet-scale raw text, creating a significant barrier to foundational research. In contrast, biological systems demonstrate highly sample-efficient learning through multi-timescale processing, such as the functional organization of the frontoparietal loop. Taking this as inspiration, we introduce HRM-Text, which replaces standard Transformers with a Hierarchical Recurrent Model (HRM) that decouples computation into slow-evolving strategic and fast-evolving execution layers. To stabilize this deep recurrence for language modeling, we introduce MagicNorm and warmup deep credit assignment. Furthermore, instead of standard raw-text pretraining, we train exclusively on instruction-response pairs using a task-completion objective and PrefixLM masking. Serving as an empirical existence proof of efficient pretraining, a 1B-parameter HRM-Text model trained from scratch on only 40 billion unique tokens and $1,500 budget achieves 60.7% on MMLU, 81.9% on ARC-C, 82.2% on DROP, 84.5% on GSM8K, and 56.2% on MATH. Despite utilizing roughly 100-900x fewer training tokens and 96-432x less estimated compute than standard baselines, HRM-Text performs competitively with 2-7B parameter open models. These results demonstrate that co-designing architectures and objectives can radically reduce the compute-to-performance ratio, making pretraining from scratch accessible to the broader research community.
https://arxiv.org/abs/2605.20613
2、[LG] General Preference Reinforcement Learning
M Umer, M A Mohsin, A Bilal, A Chaudhry…
[Stanford University & The University of Oklahoma] (2026)
广义偏好强化学习
要点:
挑战了一个根本性假设：即标量奖励模型在结构上足以应对开放式大语言模型（LLM）的对齐。论文提出，标量代理不可避免地会引发奖励黑客行为（Reward Hacking），因为它将多维度的质量压缩成了单一极易被利用的捷径。 弥合了在线强化学习（依赖可编程验证器，难以处理开放式任务）与离线偏好优化（处理开放文本但缺乏在线连续探索）之间的关键鸿沟。 提出了通用偏好强化学习（GPRL），利用通用偏好模型（GPM）将模型回复嵌入到 个斜对称子空间中，在在线强化学习框架内实现了多维且非传递性（A ≻ B ≻ C ≻ A）的偏好建模。 提出了一种反直觉但极其有效的机制：逐维度优势归一化（Per-dimension Normalization）。通过在每个子空间内独立将优势归一化为单位方差，任何单一的质量维度（如文本冗长程度）都无法仅仅通过增加绝对数值来主导策略梯度。 设计了一个巧妙的闭环漂移监控器（Closed-loop Drift Monitor），无需任何外部评估信号即可检测奖励黑客行为。它通过监控各偏好维度间优势方差的分布特征来工作；如果方差坍塌集中到某一个单一维度（作弊的特征），控制器会在训练中途自动重新分配维度权重并收紧KL信任域。 取得了令人瞩目的实证结果：基于Llama-3-8B-Instruct，GPRL在AlpacaEval 2.0上获得了56.51%的长度控制胜率。令人惊叹的是，它在击败标量GRPO+BT和离线迭代基线（SPPO， SimPO）的同时，保持了最短的平均生成长度，极其成功地消除了普遍存在的“越长越好”偏置。
主旨： 本文旨在解决大语言模型对齐过程中，在线强化学习（RL）无法有效处理开放式任务，而使用传统标量奖励模型又不可避免地导致“奖励黑客（Reward Hacking）”的困境。论文提出通过引入结构化的多维偏好模型替代单一标量打分，并结合逐维归一化与动态漂移控制技术，构建一套既能持续在线探索，又能有效抵御单维度作弊的新型对齐框架（GPRL）。
创新：
多维结构化奖励强化学习：首次将非传递性、多维度的通用偏好模型（GPM）与GRPO式在线强化学习深度结合，打破了强化学习必须依赖单一标量奖励的传统范式。 逐维度组内归一化策略：摒弃了全局优势归一化，转而在每个偏好子空间内独立进行优势值的标准差归一化计算，从数学机制上斩断了单一特征（如通过无限增加字数）主导整体梯度的可能性。 基于内生方差的闭环动态纠偏：独创性地利用多维度优势方差的分布变化作为Reward Hacking的检测信号。当方差过度集中在某个单一轴时，自动触发反馈控制器抑制该维度权重，实现无外部标签干预下的实时“自省”与纠偏。
贡献：
理论贡献：深刻揭示了Reward Hacking的核心根源在于标量奖励的“降维压缩”属性，从结构设计的角度论证了多维度奖励空间对抑制过度优化的必要性。 方法贡献：提出了GPRL算法及其配套的闭环漂移控制器，该方法在保持线性查询复杂度的同时，无缝接入了现有的大规模在线RL基建（如vLLM和PPO/GRPO流程）。 实证贡献：在多个严苛的开放式指令基准（AlpacaEval 2.0， Arena-Hard， MT-Bench， WildBench）中实现了SOTA性能，且在胜率大幅提升的同时成功抑制了长度膨胀（Verbosity Bias），为后训练范式提供了新的标杆。
提升：
开放式对齐性能的显著提升：在AlpacaEval 2.0中，GPRL的长度控制胜率相较于最强的离线偏好基线提升了约14个百分点，同时在Arena-Hard和WildBench等更具对抗性的榜单上均超越了标量GRPO和DPO/SimPO等方法。 模型生成长度的极佳控制：相比于迭代式GPO将平均回复长度膨胀至3249个token，GPRL在取得更高胜率的同时，将平均长度牢牢控制在1600个token左右，彻底证明了模型是在靠提升内容质量而非堆砌字数取胜。 长时间在线训练的稳定性：突破了传统标量RLHF在训练后期性能不可避免发生衰退（即过度优化）的瓶颈，GPRL在多个Epoch的长程训练中性能稳步攀升并保持高位震荡，未出现坍塌。
不足：
继承了底层GPM的盲区：GPRL的上限受限于其使用的预训练GPM模型。如果GPM对某些特定的质量维度（如安全性或事实性）本身就没有校准或未形成子空间，GPRL无法凭空找回这些缺失的信号。 理论收敛性证明的缺失：闭环漂移控制器（动态更新权重和KL惩罚项）是一个启发式的反馈系统，论文并未提供该控制动力学在全局收敛性上的严格数学证明，在极端超参数下可能存在系统震荡的风险。 子空间数量 的局限性：实验表明 是最佳维度，继续增加维度反而导致性能轻微下降。这说明子空间的数量高度依赖于用于训练GPM的偏好数据集固有的切面结构，尚未找到自适应确定最佳维度的方法。
心得：
Reward Hacking的本质是“降维打击”带来的必然后果：论文给我最深刻的启发是，只要我们试图用一个标量数字来概括诸如“有用性、安全性、逻辑性、连贯性”等复杂的多维人类偏好，优化器就一定会找到那条最容易刷分的“捷径”（比如拼命拉长字数）。防范作弊的根本不在于修改损失函数，而在于改变奖励反馈的几何形状（Shape），保留维度的独立性。 “逐维度归一化”是极其优雅的工程智慧：面对业界苦恼已久的“冗长偏置（Verbosity Bias）”，传统做法通常是人为加入长度惩罚项，这往往会误伤需要详细解答的复杂问题。而本文仅仅通过“独立归一化每一个维度的优势值”，就实现了不同评价维度的“强行平权”，让靠单维数值膨胀来操控梯度的企图在数学上直接失效，四两拨千斤。 利用模型内生特征进行“无监督异常检测”的潜力巨大：漂移控制器不需要依赖更强的“裁判模型”来告诉自己是不是跑偏了，仅仅通过观察各个维度之间的“方差占比”是否发生坍塌，就能精准捕捉到模型是否在钻空子。这种基于自身梯度/方差统计规律进行实时自我纠偏的机制，为未来打造具备更高自主性和安全性的AI对齐系统提供了极佳的范式。
一句话总结:
本文致力于解决LLM在线强化学习中因标量奖励模型结构缺陷而必然导致的奖励黑客（Reward Hacking）问题，创新性地提出了通用偏好强化学习（GPRL），极其反直觉地利用通用偏好模型将回复嵌入多维子空间，并首创逐维度优势归一化与基于内部方差的闭环动态监控器，不仅彻底掐断了模型通过单一特征（如无限堆砌字数）作弊的途径，更在没有外部监督的情况下实现了实时自动纠偏，最终在AlpacaEval 2.0等榜单上以最短的生成长度碾压性地取得了最高胜率，深刻揭示了“多维奖励结构是抵御过度优化的最优解”。
Post-training has split large language model (LLM) alignment into two largely disconnected tracks. Online reinforcement learning (RL) with verifiable rewards drives emergent reasoning on math and code but depends on a programmatic verifier that cannot reach open-ended tasks, while preference optimization handles open-ended generation yet forgoes the continuous exploration that powers online RL. Closing this gap requires a verifier for open-ended quality, but a scalar reward model is the wrong shape for the job. Quality is multi-dimensional, and any scalar score is an incomplete proxy that lets online RL collapse onto whichever axis the score is most sensitive to. We turn instead to the General Preference Model (GPM), which embeds responses into k skew-symmetric subspaces and represents preference as a structured, intransitivity-aware comparison. Building on this, we propose General Preference Reinforcement Learning (GPRL), which carries the k-way structure through to the policy update. GPRL computes perdimension group-relative advantages, normalizes each on its own scale so no axis can dominate, and aggregates them with context-dependent eigenvalues. The same structure powers a closed-loop drift monitor that detects single-axis exploitation and corrects it on the fly by reweighting dimensions and tightening the trust region. Starting from Llama-3-8B-Instruct, GPRL reaches a length-controlled win rate of 56.51% on AlpacaEval 2.0 while also outperforming SimPO and SPPO on Arena-Hard, MT-Bench, and WildBench by resisting reward hacking across extended training runs.
https://arxiv.org/abs/2605.18721
3、[AI] Generative Recursive Reasoning
J Baek, M Jo, M Kim, M Ren…
[KAIST] (2026)
生成式递归推理
要点:
挑战了神经推理必须依赖自回归Token生成（如思维链）或确定性隐式递归的传统范式，指出“确定性”本质上限制了模型在复杂问题空间中的探索能力。 提出了生成式递归推理模型（GRAM），将递归推理彻底重构为概率化、多轨迹的隐变量生成模型，而不再是单一固定的计算路径。 极其反直觉地证明了：在严谨的逻辑推理任务中注入“噪声”（随机性）反而能提升性能。通过在隐状态上应用可学习的随机引导（），GRAM有效防止了推理轨迹陷入局部最优解。 采用了分层隐状态结构 ，其中快速、细粒度的底层计算（）保持确定性，而抽象的高层推理更新（）则是随机的，这巧妙地模仿了人类“头脑风暴”与“假设检验”的思考过程。 解锁了基于“宽度（Width）”的推理期算力扩展（Inference-time scaling）。先前的递归模型只能通过增加深度来扩展（导致极高的串行延迟），而GRAM可以通过并行采样多条随机推理轨迹，并使用隐过程奖励模型（LPRM）来选择最优解，实现了用并行算力换取低延迟。 揭露了现有最先进确定性递归模型（如HRM、TRM）的一个致命结构性缺陷：它们在多解任务（如N皇后问题、图着色）中会遭受严重的模态坍塌。而GRAM能轻松且稳定地发现多种截然不同且完全合规的解。 揭示了一个优雅且令人惊讶的跨领域等价性：在没有任何输入的情况下，GRAM的递归推理机制自然地等同于一个无条件生成模型（建模 ）。它成功从空白状态生成了合法的数独棋盘和二值化MNIST手写数字，在参数量和步数远少于离散扩散模型（如D3PM）的情况下实现了超越。
主旨： 探索未来神经推理系统应如何实现“扩展计算（Extended Computation）”。为了解决现有递归推理模型（RRMs）因计算路径确定性而导致的探索能力差、易陷入局部最优及无法处理多解问题等局限，本文提出了将递归隐式推理转化为概率化多轨迹生成的GRAM框架，利用变分推断赋予模型提出多重假设和并行探索求解策略的能力。
创新：
概率化递归生成框架：首次将隐式递归推理建模为基于摊销变分推断（Amortized Variational Inference）的隐变量生成过程，优化证据下界（ELBO）。 可学习的随机引导（Learned Stochastic Guidance）：在层次化架构中，仅对高层抽象状态注入依赖于状态的参数化高斯噪声，在保持底层逻辑计算精度的同时，赋予高层探索不同推理路径的能力。 正交的推理期扩展维度（Width-scaling）：在传统的“计算深度（递归次数）”之外，引入了“计算宽度（并行采样轨迹数）”，并通过辅助训练的隐过程奖励模型（LPRM）进行轨迹筛选。
贡献：
理论验证了在符号和逻辑推理任务中，概率化的隐状态探索比确定性的状态演进更具优势。 揭示并解决了以往递归模型在“多解约束满足问题”上的模态坍塌灾难，大幅提升了模型在复杂搜索空间中的覆盖率（Coverage）和准确率。 统一了“条件推理（）”与“无条件生成（）”的底层逻辑，证明了同一种递归精炼机制不仅能解题，还能像扩散模型一样从噪声/空白中生成高约束的结构化数据。
提升：
结构化推理性能：在Sudoku-Extreme和抽象视觉推理ARC-AGI基准上，全面超越了Looped TF、HRM和TRM等确定性递归基线。 多解发现与约束满足能力：在N皇后和图着色任务上，GRAM不仅实现了99%+的约束满足准确率（远超自回归模型），还将有效解的覆盖率从确定性模型的<36%提升至90%以上。 生成效率与质量：在无条件数独生成任务中，仅用10.9M参数和16个递归步，就达到了99.05%的生成合法率，碾压了使用55.1M参数和1000个去噪步的D3PM扩散模型。
不足：
训练效率的瓶颈：由于需要沿着时间步进行深度监督（Deep Supervision）和截断反向传播，其训练过程的串行依赖性极强，计算效率低于标准的并行Transformer，这构成了将其扩展至千亿级基础大模型（Foundation Models）的主要障碍。 采样成本：通过宽度扩展（多轨迹采样）虽然降低了延迟，但显著增加了推理期的总体计算量和显存消耗。 ELBO截断近似的偏差：由于内存限制，训练时使用的代理目标函数（仅在每个监督步的最后一步计算KL散度并截断梯度）是对全局真实ELBO的有偏近似。
心得：
“噪声”是打破逻辑僵局的催化剂：我们直觉上认为数学和逻辑推理必须是100%严谨且确定性的。但这篇文章深刻地揭示了，在复杂的求解空间中，确定性的神经网络极易钻进死胡同（局部最优）。引入可学习的随机性，实际上是在赋予神经网络“提出假设-试错-回溯”的类人“头脑风暴”能力。概率模型才是最强大的搜索引挚。 “推理”与“生成”的极致统一：解开一个数独（推理）与凭空画出一个合法的数独棋盘（生成），在人类看来是两种能力。但GRAM通过隐式递归证明了它们在数学上是等价的——都是通过逐步精炼隐状态来逼近一个高维流形。这种将逻辑推理降维打击成类似于“扩散模型去噪”过程的视角，非常具有启发性。 用“宽度”换“深度”，打破推理期算力的物理延迟墙：目前的Test-Time Compute（如o1模型）高度依赖拉长思维链，这必然导致用户等待时间呈线性增长。GRAM展示了另一种极其诱人的可能性：通过并行采样不同的隐式思考轨迹（Width）并用Value Head评分，我们可以利用GPU的并行计算优势，在极短的真实墙上时间（Wall-clock time）内实现推算能力的倍增。
一句话总结: 本文极其反直觉地将“随机性”引入严谨的递归逻辑计算中，创新性地提出了生成式递归推理模型（GRAM），证明了多轨迹的概率隐式探索不仅彻底解决了确定性模型在多解任务上的模态坍塌问题，还能让推理模型摇身一变成为超越扩散模型的高效结构化数据生成器，为未来神经推理系统提供了“用宽度并行替代深度串行”的算力扩展新范式。
How should future neural reasoning systems implement extended computation? Recursive Reasoning Models (RRMs) offer a promising alternative to autoregressive sequence extension by performing iterative latent-state refinement with shared transition functions. Yet existing RRMs are largely deterministic, following a single latent trajectory and converging to a single prediction. We introduce Generative Recursive reAsoning Models (GRAM), a framework that turns recursive latent reasoning into probabilistic multi-trajectory computation. GRAM models reasoning as a stochastic latent trajectory, enabling multiple hypotheses, alternative solution strategies, and inference-time scaling through both recursive depth and parallel trajectory sampling. This yields a latent-variable generative model supporting conditional reasoning via pθ(y | x) and, with fixed or absent inputs, unconditional generation via pθ(x). Trained with amortized variational inference, GRAM improves over deterministic recurrent and recursive baselines on structured reasoning and multi-solution constraint satisfaction tasks, while demonstrating an unconditional generation capability.
https://arxiv.org/abs/2605.19376
4、[CV] RT-Splatting: Joint Reflection-Transmission Modeling with Gaussian Splatting
J Shi, X Ying, B Xing, R Guo…
[Peking University] (2026)
RT-Splatting：基于高斯泼溅的反射与透射联合建模
要点:
挑战了3D高斯溅射（3DGS）和延迟渲染中的传统设定：传统方法使用单一的不透明度参数将几何存在（表面）和光学透射率混为一谈，导致在联合建模反射和透射时存在根本性的困难。 提出了“RT-Splatting”，这是一个新的混合框架，优雅地将每个高斯基元的不透明度解耦为两个基于物理动机的属性：几何占用率（Geometric Occupancy）和光学不透明度（Optical Opacity）。 将几何占用率定义为光线与物质相互作用的概率（用于将法线/粗糙度等清晰的表面属性聚合到G-buffer中，以进行延迟的高光反射计算）。 将光学不透明度定义为发生相互作用时光被吸收/散射的条件概率（用于体积前向传播，在不产生遮挡的情况下累积清晰的背景透射）。 为半透明表面构建了一种新的材质本征表示，结合了散射颜色和透射率，以平衡内部散射和背景透射。 识别出了一个关键的优化歧义问题：拟合高频镜面反射产生的残差错误会产生误导性的梯度，这些梯度会泄漏到透射分支中，导致产生虚假的“漂浮物（floaters）”，从而模糊背景。 提出了一种反直觉但极其有效的高光感知梯度门控（Specular-Aware Gradient Gating）机制。它通过计算镜面反射的局部方差来估计“高光复杂性”，并在这些复杂区域动态衰减流入透射分支的反向传播梯度。 实现了对同时存在清晰反射和透射的复杂场景的实时渲染，在公共和自采集数据集上显著优于最先进的基线模型，并自然支持直观的场景编辑（例如，更改玻璃色调或粗糙度）。
主旨： 解决现有的3D高斯溅射（3DGS）方法在处理包含半透明镜面表面（如玻璃、塑料膜）的真实场景时，无法同时呈现清晰的高频反射和透明透射背景的问题，旨在通过统一的场景表示和混合渲染管线实现高质量的实时新视角合成。
创新：
不透明度解耦表示（Occupancy-Opacity Factorization）：打破了3DGS中单一不透明度的限制，将其分解为控制几何表面的“占用率（Occupancy）”和控制光学穿透的“光学不透明度（Optical Opacity）”。 混合表面-体积渲染管线（Hybrid Surface-Volume Rendering）：巧妙地利用高占用率和低光学不透明度的组合来表示透明物体，几何占用率驱动延迟渲染路径处理高频反射，而光学不透明度驱动前向体积渲染路径捕获透射背景。 高光感知梯度门控（Specular-Aware Gradient Gating）：利用高光成分的局部方差作为门控信号，在反向传播时阻断复杂高光区域的误差梯度流向透射背景分支。
贡献：
提出了一种新颖且统一的表面-体积高斯场景表示方法，仅用一组高斯基元就解决了半透明材质表面反射与背景透射的物理矛盾。 设计了高光感知梯度门控机制，有效解决了联合优化反射与透射时产生的病态歧义，大幅减少了透射分支中产生的破坏性“漂浮物（floaters）”。 在多个真实世界数据集上实现了SOTA（State-of-the-Art）的渲染质量，在保持实时渲染帧率的同时，首次在3DGS框架下完美还原了玻璃等材质的复杂光学现象，并解锁了灵活的场景材质编辑能力。
提升：
渲染质量：在包含半透明物体的测试区域（Transparent Region），相比最先进的EnvGS和Ref-GS，PSNR提升了近2dB（39.765 vs 37.953），LPIPS显著下降，视觉上彻底消除了背景模糊和虚假遮挡。 背景透射清晰度：解决了以往方法要么把玻璃渲染成不透明（遮挡内部），要么把反射渲染得极其模糊的痛点，实现了车窗内外景物的极致清晰。 优化稳定性：通过透明掩码正则化和梯度门控，消除了无约束的“幽灵几何体”，使得模型在复杂光照下极难拟合的高光区域也能稳定收敛。
不足：
物理模型的局限性：RT-Splatting 主要针对“薄”半透明表面（Thin semi-transparent surfaces）设计，忽略了折射（Refraction）效应和多次光线弹射（Multi-bounce light transport）。 厚介质适用性差：对于水体或厚实心玻璃物体等产生明显折射扭曲的场景，该方法无法准确建模光线的非直线传播。 对透明掩码的依赖：优化过程中引入了基于SAM2的透明掩码（Transparent Mask）作为正则化项，在掩码提取不准确的极端场景下可能影响几何收敛。
心得：
物理概念的解耦是解决渲染歧义的利器：文章最精彩的一笔就是把“Opacity（不透明度）”劈成了“几何存在概率”和“光学遮挡概率”。以前的模型想用一个变量既当爹又当妈（既要提供坚实的表面来反射光，又要保持透明让光穿过），结果必然顾此失彼。这种“物理属性解耦”的思路在处理复杂材质（如毛发、云雾）的三维重建中极具启发性。 用“非对称”的梯度流解决“耦合”的优化灾难：在联合优化中，高频信号（反光）极难拟合，损失函数一着急就把误差算到了低频信号（背景透射）头上，导致背景长出“脏东西”。作者反直觉地提出：既然高光区域的误差是“骗人”的，那就在算梯度时把这部分切断（Gradient Gating）。这种基于信号局部特征动态“掐断”梯度的Trick，非常适合解决多任务/多分支联合训练中的梯度污染问题。 2D G-buffer与3D体积的巧妙融合：这篇论文展示了如何完美融合传统图形学中的延迟渲染（G-buffer）和神经辐射场的体积渲染。利用概率公式（Eq.2）提取第一表面属性去算反射，再用体积积分算透射，最后完美叠加。这证明了在3DGS框架下，传统渲染管线的经验依然闪耀着强大的生命力。
一句话总结: 本文通过创新性地将3D高斯基元的不透明度解耦为“几何占用”与“光学遮挡”，并结合巧妙的高光感知梯度门控机制，完美解决了一直困扰3DGS的“半透明表面无法同时呈现清晰反射与背景透射”的难题，在保持实时渲染的同时达到了惊艳的真实感。
3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian’s geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture highfrequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce SpecularAware Gradient Gating, which suppresses misleading gra*Corresponding author. dients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing.
https://arxiv.org/abs/2605.18263
5、[AS] Stable Audio 3
Z Evans, J D. Parker, M Rice, C Carr, Z Zukowski, J Taylor, J Pons
(2026)
Stable Audio 3
要点:
使用带有Transformer重采样块（TRB）的新型语义声学自编码器（SAME）实现了极端的 4096 倍下采样率，打破了传统音频VAE 1024倍的极限，使得在消费级硬件上进行超快速、长音频扩散成为可能。 通过原生的可变长度生成，解决了固定长度扩散模型的低效问题。极其反直觉的是，它在训练期间应用了依赖于长度的时间步偏移（length-dependent timestep shifts）——将较长的序列推向更高的噪声水平，因为长序列的结构冗余性使得它们在标准噪声水平下太容易被去噪。 摒弃了标准的多步ODE求解器，转而在仅8步内使用“乒乓采样（Ping-Pong Sampling，去噪-再加噪）”。与向前传播误差的ODE求解器不同，乒乓采样在每次迭代中都具有内在的自我纠错能力。 用“对抗性后训练（Adversarial Post-Training）”取代了传统蒸馏（传统蒸馏会导致向均值回归和音频模糊）。通过使用直接作用于真实数据而非教师轨迹的相对论GAN，它为少步生成恢复了细粒度的感知清晰度。 通过在蒸馏预热阶段将CFG效果直接“烤”入模型中，在推理阶段彻底消除了对无分类器引导（CFG）的需求，实际上将计算和内存需求减半。 通过将零初始化的局部加性条件（local-additive conditioning）添加到Transformer的残差流中，实现了无缝的音频编辑（修复和续写），允许预训练模型在不破坏已学表示的情况下获得编辑能力。 在流匹配（Flow Matching）预训练期间使用小批量最优传输耦合（Minibatch Optimal Transport Coupling），将数据与最近的噪声样本配对，从而产生更直的传输路径和更少纠缠的速度场。
主旨： 本文旨在解决现有音频扩散模型在生成变长音频时计算低效、多步推理延迟高，以及难以在消费级硬件上运行长音频生成的痛点。为此，Stability AI 提出了 Stable Audio 3 系列潜在扩散模型，通过极端的隐空间压缩、支持原生变长生成、以及对抗性后训练技术，实现了在消费级设备上超快速、高质量的音乐、音效生成与编辑。
创新：
超高压缩比自编码器（SAME）：结合Patching与Transformer重采样块（TRB），实现了创纪录的 4096 倍下采样，同时通过多分辨率STFT和语义回归损失（如色度、双耳声级差）保留了声学保真度与语义结构。 原生变长训练机制：引入了反直觉的“长度依赖时间步偏移”策略（长序列分配更高的噪声预算），结合可变长度Flash Attention和静音增强（Silence Augmentation），打破了扩散模型只能生成固定长度的桎梏。 三阶段训练与乒乓采样：训练管线从“流匹配”到“蒸馏预热（1步MSE）”再到“对抗性后训练（1步GAN）”。推理时采用“乒乓采样（去噪再加噪）”，利用其自纠错特性，仅需8步即可生成极高质量音频。 网络架构改进：引入差分注意力机制（Differential Attention）消除注意力噪声，使用全局记忆嵌入（Memory Embeddings）提供全局上下文，以及零初始化的局部加性条件分支实现Inpainting。
贡献：
开源了适合在消费级硬件（如MacBook Pro或RTX 3060）上运行的 small 和 medium 模型权重，推动了音频生成领域的开源生态。 在单一模型（medium/large）中统一了高质量的乐器音乐与音效（SFX）生成能力，并在多个客观指标（FAD， CLAP）上达到 State-of-the-Art。 提出了基于掩码的音频编辑完整解决方案（单段、多段修复及因果续写），无需依赖音轨分离（Stem-separated）的训练数据。 证明了放弃CFG（无分类器引导）不仅可行，还能通过对抗性后训练弥补质量损失，极大降低了推理门槛。
提升：
生成速度惊人：在H200 GPU上，生成长达 6分20秒 的音频仅需不到 2秒；Small模型在MacBook Pro M4（CPU/CoreML）上仅需不到 4秒。 质量显著优于开源基线：在音乐生成上超越了 DiffRhythm 2 和 ACE-Step 1.5；在音效生成上超越了 Woosh 和 TangoFlux，FAD和文本对齐度（CLAP）全面领先。 显存占用极低：Small模型生成120秒音频的显存峰值不到 2.5 GB，Medium生成380秒也仅需 6.5 GB。
不足：
超长生成时的语义漂移：当生成极长音频（如380秒）时，CLAP得分会下降。由于训练数据中长音频多为环境音或古典乐，模型容易忽略文本提示，退化为生成环境音乐。 续写（Continuation）质量弱于修复（Inpainting）：续写任务的 FAD 指标差于 Inpainting，因为从短上下文中向外推断（Extrapolation）比在有边界的情况下插值（Interpolation）更难，容易偏离原始音频分布。 训练与推理的分布不匹配：训练时使用了依赖于长度的噪声调度，但在推理时为了简单起见使用了与长度无关的均匀 logSNR 调度，存在一定的 Train-Inference Mismatch。 Small 模型的跨域能力受限：由于参数量较小，Small 模型无法在同一权重下兼顾音乐和音效（会导致音乐连贯性下降），必须拆分为 small-music和small-sfx两个独立模型。
心得：
重新审视扩散模型中的“噪声物理学”：论文中“较长的序列具有更高的结构冗余，因此在相同的噪声水平下更容易被去噪，所以必须给长序列加更多噪声”这一洞见极其精彩。它打破了我们对噪声添加的线性认知，揭示了序列长度与信息熵在扩散过程中的深刻关系。 蒸馏的诅咒与对抗的救赎：一致性蒸馏（Consistency Distillation）等方法虽然能加速推理，但 MSE 损失必然导致“向均值回归”，使得生成的音频缺乏高频细节（听起来发闷）。本文用对抗性后训练（GAN）接力蒸馏，完美证明了 GAN 在恢复感知细节上的不可替代性，为“少步高保真生成”提供了一条更优路径。 “乒乓采样”对 ODE 误差的降维打击：传统的 ODE 求解器本质上是在推算轨迹，一步算错，步步错（误差累积）。而“乒乓采样”通过反复的“去噪-加微小噪声-再去噪”，在流形附近不断震荡试探，巧妙地利用了模型的单步去噪能力实现了“自纠错”。这是一种极具工程智慧的采样策略。 工程优化即模型能力：高达 4096 倍的极端压缩、将 CFG 融入模型权重以省去双路推理、去零初始化的编辑条件分支……Stable Audio 3 展示了在走向消费级落地的过程中，极致的工程设计（而非单纯堆砌参数）才是打破算力壁垒的核心。
一句话总结:
Stable Audio 3 是一系列极高效的潜在扩散模型，通过创纪录的 4096 倍隐空间压缩、原生的变长生成机制以及“蒸馏+对抗”的后训练管线，在消费级硬件上实现了破纪录的超快推理速度（H200上2秒生成6分钟）与最先进的音频/音乐生成及编辑质量。
Stable Audio 3 is a family of fast latent diffusion models (small, medium, large) for variable-length audio generation and editing. Since our models can generate several minutes of audio, variable-length generations are key to avoid the cost of producing full-length generations for short sounds. We also support inpainting, enabling targeted audio editing and the continuation of short recordings. Our latent diffusion models operate on top of a novel semantic-acoustic autoencoder that projects audio into a compact latent space, enabling efficient diffusion-based generation while preserving audio fidelity and encouraging semantic structure in the latent. Finally, we run adversarial post-training to both accelerate inference and improve generation quality, reducing the number of inference steps while improving fidelity and prompt adherence. Stable Audio 3 models are trained on licensed and Creative Commons data to generate music and sounds in less than a 2s on an H200 GPU and less than a few seconds on a MacBook Pro M4. We release the weights of small and medium, that can run on consumer-grade hardware, together with their training and inference pipeline.
https://arxiv.org/abs/2605.17991
