#!/usr/bin/evn python3# -*- coding: utf-8 -*-import refrom langchain_community.document_loaders import Docx2txtLoaderfrom langchain_text_splitters import RecursiveCharacterTextSplitter, MarkdownHeaderTextSplitter#加载word文档并转带标题结构的文本(先转markdown/提取标题)loader = Docx2txtLoader("../file/人事流程管理文档.docx")documents = loader.load()# 将word文档的文本转换为markdown格式def convert_to_narkdown(text):    """将word文档中的章节标题转换为markdown格式"""    lines = text.split("\n")    markdown_lines = []    for line in lines:        line = line.strip()        if not line:            markdown_lines.append(' ')            continue        # 匹配 "第一章 总则"、"第二章 招聘录用流程" 等格式 -> 一级标题        if re.match(r'^第[一二三四五六七八九十百]+章\s+', line):            markdown_lines.append(f"# {line}")        # 匹配 "1.1 目的"、"2.1 招聘需求提交" 等格式 -> 二级标题        elif re.match(r'^\d+\.\d+\s+', line):            markdown_lines.append(f"## {line}")        # 匹配 "1.1.1 xxx" 等格式 -> 三级标题        elif re.match(r'^\d+\.\d+\.\d+\s+', line):            markdown_lines.append(f"### {line}")        else:            markdown_lines.append(line)    return "\n".join(markdown_lines)# 转换为markdown格式markdown_content = convert_to_narkdown(documents[0].page_content)# 结构感知粗切：按markdown标题层级分割(对应word的标题1/2/3)headers_to_split_on = [    ("#", "一级标题"),    ("##", "二级标题"),    ("###", "三级标题")]header_splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on)header_chunks = header_splitter.split_text(markdown_content)# 递归细切：对超长标题块二次分割，仅在块内切，不破坏结构text_splitter = RecursiveCharacterTextSplitter(    chunk_size=800,    chunk_overlap=150,    separators=["\n\n","\n","。",";","，"," "])final_chunks = text_splitter.split_documents(header_chunks)# 查看结构for chunk in final_chunks:    print(f"标题路径：{chunk.metadata}")    print(f"内容：{chunk.page_content[:200]} ...\n")