夜雨聆风学习资料网

ARTICLE · 1166769

文档图表语音,一个模型全解析

文档图表语音,一个模型全解析

文档图表语音,一个模型全解析

腾讯 Youtu Lab 放了个 5B 的开源模型,叫 Youtu-Parsing-Omni。它只干一件事,但干得很宽。

你把一页文档、一张图表、一张流程图、一段音频,或者带声音的视频丢进去,它吐出来的是同一个东西:一个 JSON。里面有版面元素的位置框、文字、公式、表格,还有语音转写和时间戳。

以前要做这些,得拼三套东西。OCR 认字,图表识别提数据,语音模型做转写,最后再自己写代码把三种结果对齐。这个模型想省掉的就是对齐这一步。

官方报的 OmniDocBench 分数是 96.96,排在它自己那张表的第一。但我把表拉出来看了下,第二名跟它只差 0.05 分,而且是个 1.2B 的小模型,在文字和表格结构上其实还赢它。所以这个第一是挤在一堆里,不是断层。

第二件事更值得留意。它是自定义许可证,里面写明了不打算给欧盟范围内使用。开源模型这两年越来越像这样,权重确实放出来了,但能用的地方是分区的。

我真正在意的是前面那点。做素材库、做检索、做设计文档归档的人,最烦的常常不是模型不够聪明,是每接一个新来源就要重写一遍解析。真能统一成一个格式,省下来的都是工程时间。

你手头那些乱七八糟的素材,最希望被一口气读成什么?

#AI设计 #设计工具 #AIGC

湖北,1小时前,

相关学习资料