乐于分享
好东西不私藏

使用anydoc 插件解析文档并存储到本地知识库

使用anydoc 插件解析文档并存储到本地知识库
朋友们早上中午晚上好!我最近发现了一个特别有用的插件anydoc ,使用这个插件, 你可以将大部分格式文件转为markdown 文件,之后分析和编写md文件就很方便,可转的类型有(doc、docx、odt、rtf,ppt、pptx、odp,xls、xlsx、ods、csv,epub,pdf)。
我这次转码的是epub电子书籍,分析数据之后存储到本地知识库Eidos,使用Eidos搭建知识库请点击使用开源软件Eidos 搭建本地知识库并接入ai 进行数据分析 
下面以epub 转码md 文档进行讲解;
1. 准备工作: anydoc 的执行依赖python 环境,需要提前安装python。 建立一个文件夹,打开命令行窗口,输入 npm install @firecrawl/anydoc,为python 环境安装anydoc 插件。
2.使用编程工具打开文件夹,将需要转码的文件导进去,创建py文件:
3.py文件里引入anydoc,指明转码的文件和输出文件:
4.点击新建终端,在终端输入命令执行py脚本,之后就顺利转码了:
5.可以看下转码后的结果:
6.如果效果不理想的话可以手动调试一下,或者让ai 处理成方便分析的格式,我这里可以直接使用了。
7.准备好了文件,接下来要读取md 文件, 将其转存到我本地的Eidos库,Eidos 存储数据使用的sqllite 数据库, 这里有2种方式转存:
1. 直接调用sqllite存储数据;
2.调用 Eidos开放api接口存储数据;
方式1 可以入库数据,可查询,查询使用sqllite 插件查看,在Eidos 管理界面中不可见:
方式2 是走Eidos 内部存储到sqllite ,在数据库和管理界面均可见。
分析了原因:Eidos 中管理文档目录是使用树的形式进行管理,直接调用未在树表中插入相关数据,故目录树中不可见,插入节点后,文档可见,但文档里的表格字段不可见,原因是Eidos 将表的列也作为元数据在单独的表中进行管理。若要使用Eidos 相关功能,最好使用Edios 的开发接口存入数据。
若后期频繁使用Eidos ,或要针对Eidos 数据做外接开发,了解表结构关系很有必要。
8. 调用Eidos 开放接口存储数据:
9.脚本准备完毕,打开终端执行脚本:
10. 查看执行结果:
这样独属于你的知识库就搭建好了,后续进行查询,分析,二次编辑都很方便。
 转存md文档到Eidos 的源码放在评论区了,需要的朋友自取。