LangChain RAG 实战|文档加载、PDF 解析、文本切分与嵌入完整实战

import loggingfrom langchain_community.document_loaders import UnstructuredMarkdownLoader#查看开发日志，ERROR,WARN,INFO,DEBUG四个日志等级是依次降低，如果设置INFO，他会打印INFO前面的包括它自己，# 开发者一般用ERROR，日志内容里面主要看error是什么原因logging.basicConfig(level=logging.DEBUG)def load_markdown():    #1.创建markdown文件的加载器,里面传入文档的位置,里面传入两个参数路径和mode    """    (如何分辨相对和绝对路径？绝对是以盘符开头，相对路径起点是当前代码所在目录的根目录，mode默认值是single)    :return:    """    非结构化的markdown加载器去加载markdown文件    loader = UnstructuredMarkdownLoader(         r"E:\Python\workspace\CozeApi\LangChain_Day03\d_retrieval\assets\sample.md",        mode = "elements"#标题是一个元素，标题下的文字以段落为单位也是一个元素    )    #2.markdown文档的加载器对象去加载文档    #这里是对象.函数名。函数名.load() 是 LangChain 文档加载器的实例方法，已经写好了只需要调用    documents = loader.load()#既然是段落，返回的是元素容器，#loader.load() 返回Document 对象组成的列表，不是字符串列表。    3.对容器里的数据进行遍历    for document in documents:        #4.想要拿到文本，必须访问 .page_content；直接打印对象不会只输出文字。        print(document.page_content,end="\n==========================\n")#每个段落用分隔符去分隔load_markdown()

import loggingfrom langchain_community.document_loaders import UnstructuredWordDocumentLoaderlogging.basicConfig(level=logging.DEBUG)def load_word():    #第一步创建Word文档的加载器    loader = UnstructuredWordDocumentLoader(        r"E:\Python\workspace\CozeApi\LangChain_Day03\d_retrieval\assets\sample.docx",        mode= "elements"    )    #第二步word文档的加载器对象去加载文档    documents = loader.load()#返回的是元素容器    #第三步遍历元素容器    for document in documents:         print(document.page_content,end="\n======\n")load_word()

"""这里只需要改两个地方一个token,它是字符串,加双引号一个文件地址file_path最后调用函数batch_id = mineru_upload_file_demo()print(batch_id)打印获得batch_id"""import requestsimport osdef mineru_upload_file_demo():    token = "sk-MtwevmyunWZqn5sir1ergw3JIfyJpRS8EXEXNFEWIML7jBRD"    url = "https://mineru.net/api/v4/file-urls/batch"    header = {        "Content-Type": "application/json",        "Authorization": f"Bearer {token}"    }    data = {    "files": [        {"name":"demo.pdf", "data_id": "abcd"}    ],    "model_version":"vlm"    }    file_path = [r"E:\Python\workspace\CozeApi\LangChain_Day03\d_retrieval\assets\sample.pdf"]    try:        response = requests.post(url,headers=header,json=data)        if response.status_code == 200:            result = response.json()            print('上传成功:{}'.format(result))            batch_id = result['data']['batch_id']            if result["code"] == 0:                batch_id = result["data"]["batch_id"]                urls = result["data"]["file_urls"]                print('batch_id:{},urls:{}'.format(batch_id, urls))                for i in range(0, len(urls)):                    with open(file_path[i], 'rb') as f:                        res_upload = requests.put(urls[i], data=f)                        if res_upload.status_code == 200:                            print(f"{urls[i]} 上传成功")                        else:                            print(f"{urls[i]} 上传失败")            else:                print('apply upload url failed,reason:{}'.format(result.msg))            return batch_id        else:            print(f"请求失败，状态码：{response.status_code}，响应内容：{response.text}")    except Exception as err:        print(err)batch_id = mineru_upload_file_demo()print(batch_id)

"""改动两处一个token，一个获取后的batch_id"""def mineru_check_result_demo():    import requests    import time    token = "sk-MtwevmyunWZqn5sir1ergw3JIfyJpRS8EXEXNFEWIML7jBRD"    batch_id = "7fd416bb-c2e0-4935-8199-53a3d815f143"    url = f"https://mineru.net/api/v4/extract-results/batch/{batch_id}"    header = {        "Content-Type": "application/json",        "Authorization": f"Bearer {token}"    }    res = requests.get(url, headers=header)    while res.json()["data"]['extract_result'][0]['state'] != 'done':        print('当前状态为running，等待3秒后重试')        time.sleep(3)        res = requests.get(url, headers=header)        print(res.status_code)        print(res.json()["data"]['extract_result'][0]['state'],end="\n\n=========\n\n")    print('提取结果为:',res.json()["data"]['extract_result'][0]['full_zip_url'])mineru_check_result_demo()

from langchain_community.document_loaders import UnstructuredWordDocumentLoaderfrom langchain_text_splitters import RecursiveCharacterTextSplitter#1.创建加载器对象并加载文档documents = UnstructuredWordDocumentLoader(    file_path="./assets/sample.docx", #文档路径    mode= "single" #以整体作为文档加载->默认值).load()#2.准备切分器，并切割加载后的文档chunks = RecursiveCharacterTextSplitter(    separators=["\n\n", "\n", "。", "！", "？", "……", "，", ""],      # 分隔符列表    chunk_size=400,  # 每个块的最大长度    chunk_overlap=50,  # 每个块重叠的长度    length_function=len,  # 可选：计算文本长度的函数，默认为字符串长度，可自定义函数来实现按 token 数切分    add_start_index=True,  # 可选：块的元数据中添加此块起始索引).split_documents(documents)#3.查看切分结果print(chunks)

[Document(metadata={'source': './assets/sample.docx', 'start_index': 0}, page_content='中华人民共和国民法典\n\n

"""使用嵌入模型，转换单个文件和多个文件为向量数据"""from langchain_huggingface import HuggingFaceEmbeddings#1.获取嵌入模型对象model = HuggingFaceEmbeddings(    model_name = "./assets/models/bge-base-zh-v1.5",)#2.单文本嵌入，通过嵌入模型，把需要转成向量的数据转成向量query = "你好，世界"result1 = model.embed_query(query)print(len(result1))   #768 ->维度[bge-base-zh-v1.5]print(result1)print("==============================")#3.多文本嵌入documents = ["你好,世界","你好,中国"]result2=model.embed_documents(documents)print(len(result2))   # 这里是2，为什么是2？单个是把所有装着，现在是两个，#有两个向量列表，里面子列表才是768print(result2)#转换后的向量数据