第8篇:支持PDF/Word/Excel!Java实现多格式文档自动解析入库(Java+AI落地实战系列 | 开箱即用 | 批量一键入库)

<dependencies>    <!-- 省略上一篇已有的SpringBoot、LangChain4j、Ollama依赖 -->    <!-- Apache POI 处理Word/Excel -->    <dependency>        <groupId>org.apache.poi</groupId>        <artifactId>poi</artifactId>        <version>5.2.3</version>    </dependency>    <dependency>        <groupId>org.apache.poi</groupId>        <artifactId>poi-ooxml</artifactId>        <version>5.2.3</version>    </dependency>    <!-- Apache PDFBox 处理PDF -->    <dependency>        <groupId>org.apache.pdfbox</groupId>        <artifactId>pdfbox</artifactId>        <version>2.0.32</version>    </dependency></dependencies>

/** * 文档解析工具类 * 支持PDF、DOCX、XLSX、TXT格式文本提取 */public class DocumentParserUtil {    /**     * 根据文件类型自动解析提取文本     */    public static String extractText(MultipartFile file) throws IOException {        String fileName = file.getOriginalFilename();        if (fileName == null) {            throw new IllegalArgumentException("文件名不能为空");        }        String suffix = fileName.substring(fileName.lastIndexOf(".") + 1).toLowerCase();        return switch (suffix) {            case "txt" -> extractTxt(file);            case "docx" -> extractWord(file);            case "pdf" -> extractPdf(file);            case "xlsx" -> extractExcel(file);            default -> throw new IllegalArgumentException("不支持的文件格式：" + suffix);        };    }    /**     * 解析TXT文本     */    private static String extractTxt(MultipartFile file) throws IOException {        return new String(file.getBytes(), StandardCharsets.UTF_8);    }    /**     * 解析Word文档（仅支持.docx格式）     */    private static String extractWord(MultipartFile file) throws IOException {        try (XWPFDocument document = new XWPFDocument(file.getInputStream())) {            XWPFWordExtractor extractor = new XWPFWordExtractor(document);            return extractor.getText();        }    }    /**     * 解析PDF文档     */    private static String extractPdf(MultipartFile file) throws IOException {        try (PDDocument document = PDDocument.load(file.getInputStream())) {            PDFTextStripper stripper = new PDFTextStripper();            // 按顺序提取文本，避免排版混乱            stripper.setSortByPosition(true);            return stripper.getText(document);        }    }    /**     * 解析Excel文档（仅支持.xlsx格式）     * 按行读取，单元格之间用空格分隔，每行换行     */    private static String extractExcel(MultipartFile file) throws IOException {        StringBuilder content = new StringBuilder();        try (Workbook workbook = new XSSFWorkbook(file.getInputStream())) {            // 遍历所有sheet            for (int i = 0; i < workbook.getNumberOfSheets(); i++) {                Sheet sheet = workbook.getSheetAt(i);                content.append("【Sheet页：").append(sheet.getSheetName()).append("】\n");                // 遍历所有行                for (Row row : sheet) {                    StringBuilder rowContent = new StringBuilder();                    for (Cell cell : row) {                        // 统一转成字符串读取                        cell.setCellType(CellType.STRING);                        rowContent.append(cell.getStringCellValue()).append(" ");                    }                    content.append(rowContent.toString().trim()).append("\n");                }                content.append("\n");            }        }        return content.toString();    }    /**     * 文本清洗：去除多余空格、换行、无效字符     */    public static String cleanText(String text) {        if (StrUtil.isBlank(text)) {            return "";        }        // 1. 替换多个换行、空格为单个        text = text.replaceAll("\\s+", " ");        // 2. 去除常见的页眉页脚固定字符（可根据自己业务扩展）        text = text.replaceAll("第\\d+页 / 共\\d+页", "");        text = text.replaceAll("版权所有.*", "");        // 3. 去除首尾空白        return text.trim();    }}

@Servicepublic class DocumentService {    @Autowired    private EmbeddingStore<TextSegment> embeddingStore;    @Autowired    private EmbeddingModel embeddingModel;    /**     * 上一篇的纯文本入库方法，保留不变     */    public void addTextDocument(String content, String docName) {        String cleanContent = DocumentParserUtil.cleanText(content);        DocumentSplitter splitter = DocumentSplitters.recursive(500, 50);        List<TextSegment> segments = splitter.split(Document.from(cleanContent));        segments.forEach(segment -> segment.metadata().put("docName", docName));        EmbeddingStoreIngestor.builder()                .documentSplitter(splitter)                .embeddingModel(embeddingModel)                .embeddingStore(embeddingStore)                .build()                .ingest(segments);    }    /**     * 新增：文件自动解析入库     * @param file 上传的文档文件     */    public void addFileDocument(MultipartFile file) throws IOException {        String fileName = file.getOriginalFilename();        // 1. 提取文本        String rawText = DocumentParserUtil.extractText(file);        // 2. 文本清洗        String cleanText = DocumentParserUtil.cleanText(rawText);        // 3. 文档切片        DocumentSplitter splitter = DocumentSplitters.recursive(500, 50);        List<TextSegment> segments = splitter.split(Document.from(cleanText));        // 4. 打上文件名元数据，方便溯源        segments.forEach(segment -> {            segment.metadata().put("docName", fileName);            segment.metadata().put("uploadTime", LocalDateTime.now().toString());        });        // 5. 向量化入库        EmbeddingStoreIngestor.builder()                .documentSplitter(splitter)                .embeddingModel(embeddingModel)                .embeddingStore(embeddingStore)                .build()                .ingest(segments);    }}

@RestController@RequestMapping("/api/rag")public class RagController {    @Autowired    private DocumentService documentService;    @Autowired    private RagChatService ragChatService;    /**     * 上一篇的纯文本入库接口，保留不变     */    @PostMapping("/addDoc")    public Result<String> addDocument(@RequestBodyDocAddRequest request) {        documentService.addTextDocument(request.getContent(), request.getDocName());        return Result.success("文档入库成功");    }    /**     * 新增：文件上传自动入库接口     */    @PostMapping("/uploadDoc")    public Result<String> uploadDocument(MultipartFile file) {        try {            documentService.addFileDocument(file);            return Result.success("文件解析入库成功");        } catch (IOException e) {            return Result.fail("文件解析失败：" + e.getMessage());        } catch (IllegalArgumentException e) {            return Result.fail(e.getMessage());        }    }    /**     * 知识库问答接口，和上一篇一致     */    @GetMapping("/chat")    public Result<String> chat(String question) {        String answer = ragChatService.chatWithKnowledge(question);        return Result.success(answer);    }    // 省略实体类、统一返回类，和之前一致}