阮咸AI助手,引入sqlite数据库模块,解决在利用本地大模型进行数据分析时,超大量数据引起的上下文不足问题
应用场景为:对大量Excel、word、json、PDF、图片、等数据利用本地大模型进行数据清洗,清洗后的数据存入本地sqlite数据库进行保存。
在进行数据应用和数据分析时,从存储的sqlite数据库中分块抽取或者搜索抽取,抛入大模型进行分析,这样能够有效的、针对性的减小无效数据总量,以保证在较低的本地硬件性能的基础上满足大规模数据分析的场景需求。
该模块,也提供傻瓜式的数据清洗提示词生成功能,具备超强的易用性。
注:有了数据库模块,在后面的更新中,我们会逐渐加强本地AI对多样性数据的清洗功能,让阮咸AI助手从便捷辅助工具逐渐走向大规模数据分析工具。