夜雨聆风学习资料网

ARTICLE · 1377838

数智人事系统(二十一):知识库文档的入库

数智人事系统(二十一):知识库文档的入库

做人事系统,最烦员工查制度得满世界翻文件。所以我把这期做成知识库的文档入库和清理。

存东西分三处:MySQL 管文档记录,MinIO 管原文件,PostgreSQL 管切片和向量。切片表里直接带文档名,检索命中时不用再跨库找来源。

上传完先建记录,状态设成 UPLOADED。接着 CAS 认领改成 PROCESSING,等事务提交后再丢线程池去解析、切片、生成向量。这样不卡上传请求,也不重复处理。

删除最麻烦。得同时清 MySQL、PostgreSQL 和 MinIO,没法放进一个本地事务。所以顺序很讲究:先删切片,再删原文件。哪步失败只记日志,靠凌晨的定时任务兜底——04:30 清孤儿文件,04:45 清无主切片。

有个坑得提一句:工作进程要是中途崩了,文档会一直卡在 PROCESSING,目前只能人工介入。

下一期就该讲怎么从库里把答案捞出来了。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料