今年菲尔兹奖数学工具被AI用于拆解“黑盒”
论文题目:GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models
论文地址:https://arxiv.org/abs/2603.19460
方法:本文提出GeoLAN框架,将大型语言模型内部的可解释性视为可在训练阶段施加的几何约束而非事后发现,其核心思想源于几何测度论中的Kakeya猜想与粘性Kakeya集理论,将逐层token表示建模为高维流形中的连续几何轨迹与语义管,并通过语义Wolff公理形式化表示场的非聚类条件。本文设计了两个互补的可微正则化损失:Katz-Tao Convex-Wolff损失基于随机投影的随机估计器惩罚嵌入空间的各向异性坍塌,迫使表示在球面上均匀分布;Katz-Tao Attention损失则通过最大化注意力矩阵的谱熵来防止注意力头坍缩至低秩子空间,确保注意力机制保持高秩与多样性。
其它金额
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
河南,10小时前,
夜雨聆风