从0到1:手把手教你构建企业级文档解析器(附3大核心架构与Prompt优化技巧)

点击蓝字 关注我们 您的专属AI解决方案架构师

实践环节

今天，让我们构建一个世界级的文档处理系统，它能够处理包含表格、图表和密集文本的复杂文件。

它超越了OpenAI的GPT-4o，我们将使用完全开源的技术栈来实现——就像用乐高积木搭航母，零件是现成的，但拼法得讲究。

• GroundX 用于最先进（SOTA）的解析
• Streamlit 用于用户界面（UI）
• Ollama 用于本地服务大语言模型（LLM）

  SOTA是“State-of-the-Art”的缩写，意为“最先进的”，在机器学习领域指当前性能最佳的技术或模型。LLM是“Large Language Model”的缩写，即大语言模型，是一种基于大量文本数据训练的人工智能模型，能够理解和生成自然语言，广泛应用于自然语言处理任务。

工作流程如下： 

• 用户上传文档
• GroundX 解析并提供丰富的分析，包括摘要、分块（chunks）和元数据（metadata）
• 一个小型本地大型语言模型（LLM）使用此上下文回答复杂问题

让我们开始吧！

连接到 GroundX

在 GroundX 中，每个文档都存储在一个桶（bucket）中。我们连接到 API 并为我们的工作流创建一个桶。

GroundX 可以完全自托管在一个私有的 Kubernetes 集群中。但在这里，为了快速演示，我们使用托管云。这步骤跟做实验也没啥区别，原理上能自己搭，演示时用现成的。

Kubernetes 是一个开源的容器编排系统，用于自动化部署、扩展和管理容器化应用程序。在云计算和 DevOps 中广泛应用。

文档摄取

接下来，我们将文件上传到GroundX。

这可以是PDF、Word文档甚至图像。GroundX将负责解析。

在数据科学中，“文档摄取”（Document Ingest）指的是将文档数据导入系统以供处理的初始步骤，通常涉及文件上传、格式转换和内容解析。

获取X-Ray输出

文档处理完成后，我们获取其打包的X-Ray输出，包含：

在数据科学和文档处理领域，“X-Ray输出”通常指通过自动化工具（如大语言模型或智能体）对文档进行深层分析后生成的结构化数据，例如文本摘要、关键词、实体识别或语义标签，以方便后续处理和查询。

• JSON 输出
• 叙事摘要
• 文件摘要
• 建议文本
• 提取文本
• 关键词

准备上下文

接下来，我们为模型获取更丰富的上下文。

我们结合文档的摘要与几个顶部块，这样大语言模型就有足够细节来准确回答，而不会超载。

生成响应

现在，我们使用一个小型本地大语言模型与文档进行聊天。

在GroundX丰富上下文的支持下，即使是像phi3:mini这样的小型大语言模型，也能生成清晰、准确的响应，轻松处理复杂问题。

phi3:mini是微软Phi-3系列的一个小型大语言模型，参数量较少，适合本地部署和资源受限环境，常用于高效处理自然语言任务。

GroundX可能指一个上下文增强平台或工具，用于为大语言模型提供丰富的文档上下文，以提高回答准确性和处理复杂查询的能力。

以下是我们的工作流生成的文档、查询和响应。

为了提供正确答案，GroundX需要解析并理解整个布局，包括表格，并理解所有信息如何相互关联。

最后，我们将所有组件整合成一个简洁的Streamlit界面，以提升可访问性。

此外，我们使用Opik工具运行了解析评估，比较了GroundX和GPT-4o在三份不同发票上的表现。

GroundX每次都能胜出，它能够利用额外上下文找到并回答与文件相关的具体问题，而GPT-4o则大多直接提取原文。看起来堆料确实有用，前提是得堆对地方。

Streamlit是一个用于快速构建数据科学Web应用的Python库，它允许用户通过简单脚本创建交互式界面，适合展示模型和数据分析结果。Opik是一个评估框架或工具，专门用于解析任务的性能测试，帮助学生理解如何比较不同模型在特定任务上的表现。

这款开源包需要一些设置，有需要可以后台沟通

更多知识学习，尽在 https://www.dailydoseofds.com/