夜雨聆风学习资料网

ARTICLE · 1368632

第 6.3 章:不同类型文档使用不同切分规则

第 6.3 章:不同类型文档使用不同切分规则

《RAG 实战案例》第 6.3 节。

按来源选择切分规则,为会议记录保留发言边界,并支持给片段补充标题。

本节内容

会议记录、邮件和说明文档的结构不同,适合的切分规则也不同。本节把规则放进配置文件,索引时根据文档来源选择对应规则。

当前文档库用的是 Fireflies 会议记录。我们先把“按发言切分”的规则加进去,再补上“补充标题”的选项。6.4 补充结构感知切分的原理,6.5 再接入语义切分,预览和索引仍然共用这一套规则入口。

来源与正文结构

不同来源的文档要用不同的规则,具体怎么写,取决于正文的实际格式。例如:

文档
优先保留的内容
会议记录
时间戳、发言人和完整发言
邮件、聊天记录
发件人或发言人,以及同一次交流的上下文
Wiki、说明文档
标题、段落和列表
表格、代码
表头、数据行或完整代码段

本节的 Fireflies 规则针对当前文档中的“时间戳+发言人+正文”格式。接入其他来源时,也要先预览正文,再配好相应的规则。

切分配置

在 src/enterprise_rag_cli/domain/models.py 中补充导入:

from typing import Literalfrom pydantic import ConfigDict, model_validator

然后在文件末尾增加:

# 分割策略class ChunkPolicy(BaseModel):    # 输入数据中如果出现模型未声明的字段,直接报错    model_config = ConfigDict(extra="forbid")    strategy: Literal["token", "sentence", "recursive"] = "token"    chunk_size: int = Field(default=1200, ge=200)    chunk_overlap: int = Field(default=150, ge=0)    structure: Literal["paragraph", "meeting"] = "paragraph"    include_title: bool = False    # 跨字段校验    @model_validator(mode="after")    def check_policy(self) -> "ChunkPolicy":        if self.chunk_overlap >= self.chunk_size:            raise ValueError("重叠长度必须小于切分长度")        if self.strategy == "recursive" and self.chunk_overlap != 0:            raise ValueError("递归切分的 chunk_overlap 必须为 0")        if self.structure == "meeting" and self.strategy != "recursive":            raise ValueError("meeting 结构需要使用 recursive 切分")        return self

创建 config/chunk-policies.json:

{    "default": {        "strategy": "token",        "chunk_size": 1200,        "chunk_overlap": 150,        "structure": "paragraph",        "include_title":false    },    "fireflies": {        "strategy": "recursive",        "chunk_size": 1200,        "chunk_overlap": 0,        "structure": "meeting",        "include_title":false    }}

fireflies 对应文档的 source_type。来源匹配到 fireflies 时,就用它自己的配置,不走 default。所以当前会议记录走的是 recursive,不是默认的 token;其他来源没有专用配置时,才回落到 default。

structure 决定递归切分优先保留什么边界:paragraph 按段落,meeting 先按发言。include_title 控制是否补充标题,可以单独打开它来观察变化。

在 src/enterprise_rag_cli/config.py 的 Settings 中增加:

chunk_policies_path: Path = Path("config/chunk-policies.json")

这里直接使用默认路径即可。

会议文档分割规则

在 src/enterprise_rag_cli/application/chunking.py 中增加:

# 定义「会议记录」的分层规则def meeting_rules() -> RecursiveRules:    return RecursiveRules(levels=[        RecursiveLevel(delimiters=["\n["], include_delim="next"),        *paragraph_rules().levels,    ])

当前会议记录里,每段新发言都以换行后的时间戳开头,例如 \n[01:55]。第一层规则按 \n[ 切开发言,并让时间戳跟着后面的发言走。单段发言超过长度上限时,再依次按段落、句子和字符继续拆。

修改 create_chunker 的参数列表,增加可选规则:

def create_chunker(    chunk_size: int,    chunk_overlap: int,    strategy: str = "token",    rules: RecursiveRules | None = None,) -> BaseChunker:

在它的 recursive 分支中,把 rules=paragraph_rules() 改成:

rules=rules if rules is not None else paragraph_rules(),

片段标题

单独取出“按 48 小时返回作业”这样的片段无法获取全局信息。给片段补上原文标题,就能带上一些主题背景。

将 chunking.py 中的 split_document 替换为:

# 执行切分def split_document(    document: Document,    chunker: BaseChunker,    include_title: bool = False,) -> list[Chunk]:    fallback = TokenChunker(        tokenizer="character", chunk_size=chunker.chunk_size, chunk_overlap=0,    )    title = " ".join((document.title or "").split())[:120]    chunks = []    for raw_chunk in chunker.chunk(document.text):        # 一条很长的句子也可能超过上限,继续按长度拆开。        pieces = (            fallback.chunk(raw_chunk.text)            if len(raw_chunk.text) > chunker.chunk_size else [raw_chunk]        )        for piece in pieces:            text = piece.text            if not text.strip():                continue            if include_title and title and not text.lstrip().startswith(title):                text = f"{title}\n\n{text}"            if len(text.encode("utf-8")) > 8192:                raise ValueError("Chunk 超过 Milvus 正文字段的 8192 字节上限,请减小切分长度")            position = len(chunks)            chunks.append(Chunk(                chunk_id=make_chunk_id(document.document_id, text, position),                document_id=document.document_id,                source_type=document.source_type,                source_id=document.source_id,                position=position,                text=text,                token_count=len(text),            ))    return chunks

标题最多取 120 个字符。原片段已经以标题开头时,不再重复添加。补充后的标题会同时参与向量生成和答案生成,所以也会算进片段长度。

Chunk ID 仍由文档 ID、片段正文和顺序生成。相同输入得到相同 ID;更换切法或补充标题后,正文或顺序可能改变,ID 也会随之改变。

规则加载与切分

创建 src/enterprise_rag_cli/application/chunk_policies.py:

from __future__ import annotationsimport jsonfrom pathlib import Pathfrom enterprise_rag_cli.application.chunking import (    create_chunker, meeting_rules, split_document,)from enterprise_rag_cli.domain.models import Chunk, ChunkPolicy, Document# 读取分割策略配置def load_chunk_policies(path: Path) -> dict[str, ChunkPolicy]:    data = json.loads(path.read_text(encoding="utf-8"))    if not isinstance(data, dict) or "default" not in data:        raise ValueError("切分配置必须包含 default 规则")    return {        source: ChunkPolicy.model_validate(value)        for source, value in data.items()    }# 根据策略分割文档def split_with_policy(document: Document, policy: ChunkPolicy) -> list[Chunk]:    rules = meeting_rules() if policy.structure == "meeting" else None    chunker = create_chunker(        policy.chunk_size, policy.chunk_overlap, policy.strategy, rules=rules,    )    return split_document(document, chunker, include_title=policy.include_title)

这两个函数分别负责读取配置和执行切分。预览和建立索引都调用它们,避免两边使用不同的规则。

预览命令的调整

在 src/enterprise_rag_cli/commands/chunks.py 中增加导入:

from enterprise_rag_cli.application.chunk_policies import load_chunk_policies, split_with_policyfrom enterprise_rag_cli.domain.models import ChunkPolicy

将 strategy 参数改为可选。省略时使用来源配置:

strategy: ChunkStrategy | None = typer.Option(None, "--strategy"),

把 preview 中从 actual_size = ... 到 chunks = ... 的四行替换为:

policies = load_chunk_policies(settings.chunk_policies_path)policy = policies.get(document.source_type, policies["default"])overrides = {}if size is not None:    overrides["chunk_size"] = sizeif overlap is not None:    overrides["chunk_overlap"] = overlapif strategy is not None:    overrides["strategy"] = strategy.value    overrides["structure"] = "paragraph"policy = ChunkPolicy.model_validate({**policy.model_dump(), **overrides})chunks = split_with_policy(document, policy)console.print(f"切分规则:{policy.model_dump()}")

可以移除这个文件中已经不用的 create_chunker 和 split_document 导入。

执行:

uv run rag chunks preview dsid_aea4790d4bcc45859208d7d705f682a1 \  --contains "cold-cache"

这次会自动使用 fireflies 规则。若要比较补充标题后的样子,把配置中 fireflies 的 include_title 改为 true,再运行一次。

Batch 索引接入

在 src/enterprise_rag_cli/application/batch_indexing.py 中,把原来的切分函数导入替换为:

from enterprise_rag_cli.application.chunk_policies import load_chunk_policies, split_with_policy

在 prepare_full_index 中,把创建 chunker 的代码替换为:

policies = load_chunk_policies(settings.chunk_policies_path)

把内部 chunks() 函数中的文档循环替换为:

for document in documents:    policy = policies.get(document.source_type, policies["default"])    yield from split_with_policy(document, policy)

最后,在这个函数调用 _save_manifest 前增加:

manifest["chunk_policies"] = {    source: policy.model_dump() for source, policy in policies.items()}

每个索引任务会保存实际使用的规则。即使之后修改了配置,也能查到旧索引是怎么切分的。

相关链接

  • • Chonkie RecursiveChunker:https://docs.chonkie.ai/oss/chunkers/recursive-chunker
  • • Pydantic 模型校验:https://docs.pydantic.dev/latest/concepts/validators/
  • • 本节源码:https://github.com/agua-du/enterprise-rag-cli

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料