ARTICLE · 1015603
DSH插件之——文本统计工具
DSH插件之——文本统计工具
刚给 dsh 写了个文本统计插件,npm 上直接就能装。装好之后,Agent 会自动拿到 text_stats 工具。
让模型数字数、算 token,直接把文本塞给它就行。单次最多传 10 万字,超了就让它分段重试。输出分三种:默认 summary,想看细节用 detailed,要传给下一步处理就选 json。
最值得说的是 token 估算换了新口径。以前按“字节数除以4”,对中文严重低估。现在改成 CJK 加权:汉字一个字约 0.6 个 token,其他字符约 0.25 个。虽然还是估算,但比以前准多了。
另外,emoji 这种字符不会重复计算了。每次调用的耗时和结果,都能从 ctx.textStats 里查到。
原文DSH插件之——文本统计工具
作者提示: 个人观点,仅供参考
广东,2小时前,