ARTICLE · 1186115
Anthropic内部文档:什么是高质量训练数据,以及获取策略
Anthropic内部文档:什么是高质量训练数据,以及获取策略
近期看到有人在分享Anthropic在2021年的技术路线图，介绍了他们当初要训练万亿模型、要做好RL等等。Anthropic的多数联合创始人都参与训练了GPT-3，是早期Scaling Laws的研究者，也是聪明的研究者，对AI的理解的确很有预判。 我也在分享一个可能对当下有参考价值的信息吧：2023年初，Anthropic的联合创始人Chris Olah撰写的内部数据文档，分析了什么是高质量的数据、Common Crawl这种数据集有什么问题、怎么去获取高质量数据等等。 简单介绍下Chris Olah，他是模型可解释领域的大佬。都说神经网络是黑盒子，他可能是最能理解神经网络运作机制的人之一。 ———— 他认为，数据很可能是改善模型时投入产出比最高的因素，但他们对数据都深感困惑。他写了这个文档，从自己的观点出发，分析各种数据的价值。这些数据观点是他的分析，并不代表Anthropic完全这么做的。 其实从后续Anthropic的动作来看，也采纳了其中不少的部分。而且其中有不少观点，也是现在大模型行业的标准做法了，不过也可以温故。 另外，我也看到了一些关于Anthropic早期关于数据的内部文件，但缺失不少关键的信息，后面我整理好了会分享出来：）。 以下是Chris Olah《数据假说》的主要内容。他主要是从模型的视角来分析数据。 模型需要具有连贯长上下文的数据，才能学会阅读更长的文本片段，并围绕这些内容思考。 模型需要事实知识来源，尤其是与具有经济价值的劳动相关的知识。 模型需要展示审慎思考与推理的文本。更广泛地说，模型需要有用的认知方式的示范。这可以是技术推理（数学、证明、编程）、组织文章、论证，或者其他东西…… 模型需要能动性和目标导向思考的示范。（例如，或许小说能提供这种示范。） 模型只需要优秀的写作，即编辑会认可的那类内容。这能教会它们如何写得好，而不是学会低质量的网络表达。 Common Crawl，以及其他通过抓取网站获得的内容，通常充满网页垃圾信息和SEO垃圾。这意味着找到真正的好内容就像大海捞针。 即使“好网站”也充满烦人的内容：广告、侧栏、导航链接。论坛则充满签名、用户信息、页面导航等。如果不仔细处理，真正的内容可能只占页面的一小部分。 许多网站，只看其中一个网页，可能很难学到多少东西。例如，内容可能被分页，这在论坛、代码文档和在线书籍中很常见。图片可能是理解内容的关键。即使页面包含有价值的信息，它整体上也可能无法自成一体、能够独立理解。 Google 即使已经抓取了网站中某个讨论串的第一页，也似乎经常没有收录后面的深层页面！如果 Google 尚且会如此，即使只是偶尔发生，那么 Common Crawl 几乎肯定会更严重。通过理解高质量网站的结构，或许能够补上这些“缺口”，其中可能包含相当数量的高质量数据。 也许高质量书籍（例如教材）就是我们能获取的最佳内容，因此我们应该购买大量书籍。 （Anthropic就是这么干的，而且买了很多古书破坏性扫描。） 定制抓取也许提取高质量数据的关键，是理解网站，有系统地提取内容，并将它们组合起来。这能解决前面提到的微观重复、上下文缺失和数据缺口问题。 也可以考虑让Claude 把定制抓取问题自动化。 多语言数据也是一个办法。 一旦模型对两种语言的理解达到足够好的程度，在一种语言获得的事实知识或推理的数据，就会迁移到另一种语言。这意味着，对高质量数据而言，它使用哪种语言并不那么重要。 让模型学习语言时，可以想象两种潜在瓶颈：一是有没有足够的多语言内容来学会这种语言；二是有没有足够的、与其他语言相互对应的内容，让它与其他语言衔接起来并从跨语言迁移中获益。 少数广泛使用的语言，可能覆盖不同语言能带来的价值中的很大一部分。至少短期内，或许应当优先选择“最划算”的语言。 也许自然而然就能在常用语言上取得成功，无须担心。只要不主动把它们过滤掉，Common Crawl 里就有足够的数据，不必刻意操心也能把这些语言做好。如果是这样，应当问：哪些问题不会自然做好的？最令人担心的类别是“低资源语言”，因为互联网上用这些语言写成的内容确实很少。 后面还有他关于中文市场的讨论，跟现在Anthropic的做法很不一样： 如果我们能夺取他们本来可能获得的市场份额，就能在一定程度上拖慢他们。我们应当优先在他们可能争取的市场所使用的语言上取得良好表现，比如普通话。 以上～ 看完之后，我觉得有价值的地方不只是他对数据的分析，还有他分析数据问题的视角。 -Fin- 题图来源：The Social Network
