喂饭级实操:从零手搓一个 PDF 知识库文档向量化系统

import osimport sysimport mathdef main():    print("=" * 60)    print("📚 [DEMO] RAG: PDF电子书切块与向量化提取演示")    print("=" * 60)    # 模拟准备一个 PDF 文件。实际运行时可替换为真实的电子书路径    sample_pdf = os.path.join(os.path.dirname(__file__), "sample_ebook.pdf")    if not os.path.exists(sample_pdf):        print("\n⚠️ 当前目录没有找名为 sample_ebook.pdf 的文件。")        print("由于这是演示脚本，请先将你的一本电子书(重命名为 sample_ebook.pdf)放置在: ")        print(f"👉 {sample_pdf} \n然后再运行此脚本。")        print("\n或者你也可以直接在下面代码中修改 sample_pdf 的路径！\n")        # 为了演示继续运行，我们可以造两段假文本替代        print("--- ⬇️ 降级为直接使用假文本进行演示 ---")        full_text = "这是一部分用来测试的虚拟文本。在这个示例中，假设我们成功从PDF解析出了这部分文本：\n\n人工智能是一种研究... 我们希望让机器拥有智能的判断。"    else:        # 第一步：提取 PDF 文本        full_text = extract_text_from_pdf(sample_pdf)    if not full_text.strip():        print("❌ 提取到的文本为空，可能是扫描版图片 PDF，需要 OCR 支持。")        return    # 第二步：将这本电子书切分成多个 Chunk（切块）    chunks = chunk_text(full_text, chunk_size=300, overlap=50)    # 第三步：利用大模型 API 把 Chunks 转成高维向量 (Embeddings)    # 存入到内存版的“向量数据库” (List)    vector_db = generate_embeddings_for_chunks(chunks)    if not vector_db:        print("❌ 向量库生成失败或为空，退出演示。")        return    # 第四步：模拟向量检索（针对已经向量化的内容提问测试）    print("\n💡 提示: 演示中你可结合 Chunk内容自定义提问。")    test_query = "什么是人工智能？" # 你可以修改为真实语境下的问题    retrieve_similar_chunk(test_query, vector_db)if __name__ == "__main__":    main()