夜雨聆风学习资料网

ARTICLE · 1222261

DSH手搓插件踩坑记(Deepseek Harness)

DSH手搓插件踩坑记(Deepseek Harness)

先说正经事

手搓了个插件,是能够显示每条对话的tps(输出快不快)和ttft(响应快不快)。
dsh是自带总体统计的,统计了整个会话的平均数,但如果中途换模型,或者感觉模型最近是快了还是慢了,没有直观的数据。
如果调用API的朋友,快和慢都只能默默接受,但本地部署大模型的朋友,这些数据就很关键了,因为本地模型在部署时有太多需要调试的地方。

说说踩的坑

又到了大家喜闻乐见的踩坑环节。一方面是有个地方记录一下,另一方面是我踩过的你们就不用踩了。

坑一:dsh更支持新增

dsh其实有每轮的参数,但并没有精确到tps和ttft。数字其实不难获取,用这里的输出token数除以本轮耗时就好了。之前我都是稍微改改前端代码,在这里增加几行。
坑在哪?dsh对新增和修改是区别对待的。新增的叫“插件”,只要没有版本冲突,每次升级都是会被保留的。但修改就不一样了,一旦升级就没了。更糟糕的是,修改式的插件没法一键安装。这就很难分享了,动手能力强的根本不需要我分享,动手能力弱的,分享过去也搞不定。所以最后老老实实新增了一个按钮。

坑二:创造模式

dsh自带创造模式,会预提供很多撰写插件用到的工具。但这个模式实在太烧token了,我的上下文只有256K,都想到快要压缩了都还在想。最后还是用标准模式做出来的。创造模式适合强力模型做大型插件,小插件和弱一点的模型,尽量别碰这高档货。

广告时间

https://github.com/oldzhang82/dsh-tps-ttft
插件放在这,有github的朋友可以上去点个小小的star。

友情提示

所有第三方插件,在能力范围内还是尽量以阅读后自己重写为主。

相关学习资料