从像素到文档：LeNet-5 与 GTN 精读

这篇论文讨论的核心问题，是怎样把原本分开的特征提取、分割、识别和语言约束，放进同一个可学习的系统。传统流程依赖手工特征和独立分类器；面对二维形变与连续手写时，局部结构难以充分表达，字符边界也可能落在半字符、多字符或噪声上。
图组第 2 页先解释研究动机；第 3 页把问题写成可微模块，并用局部感受野、共享权重和空间子采样说明 LeNet-5 的结构先验；第 4 页进入 GTN：HOS 保留候选切分图，Viterbi 选择最低代价路径，forward 用 logadd 合并同一解释的多条路径，判别式 forward 再比较正确解释与全部解释。
结果需要连同条件阅读。在本文的 modified NIST/MNIST 口径下，LeNet-5 的 regular 测试误差约为 0.95%，加入 540k 仿射畸变样本后约为 0.8%；Boosted LeNet-4 在比较表中约为 0.7%。在线手写实验中，HOS 加 25,461 词词典经过词级训练后，词错误率由 4.6% 降到 3.2%；350 词词典的结果约为 1.6% 词错误率、0.94% 字符错误率。SDNN 当时尚未优于 HOS。支票案例的 82% 正确、1% 错误、17% 拒识，来自 646 张自动归类为机打支票的测试子集。
第 6 页保留了重要边界：正确切分必须出现在候选图中，效果还依赖图规模、可微模块、初始化、数据覆盖和语言模型；特定词典或商业子集的结果不能直接外推到开放词汇或全部支票。

文献：Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-Based Learning Applied to Document Recognition,” Proceedings of the IEEE, vol. 86, no. 11, pp. 2278–2324, Nov. 1998。
、
#论文精读 #深度学习 #卷积神经网络 #LeNet5 #图变换网络 #OCR #手写识别 #科研笔记