近来有新闻报道腾讯内部部分部门把每月2000美元的 token 额度降到了 1400元人民币,字节也把部分模型改成报销的模式,这代表着以前 token “管够”的模式结束了。还很多公司虽然口头说“全面拥抱 AI”,但实际落地还没做出什么成绩,大厂就已经开始限制 token 的使用量了。
限制 token 使用量,一个原因应该是 token 消耗太多了,目前省 token 的模式仍偏玄学,说加点什么 Skill 或者流程就能够省掉大量的 token,但这种招数也只是特定场景下有效,就和大模型的幻觉一样,没有固定通用的方法可以稳定节省 token,在公司内如果没有限制的话,大家工作本来时间就紧张,与其花时间去折腾省 token,还不如多花点 token 尽快把事情搞定。
另外一个原因则是 AI 还是停留在工具层面,虽然有些人网上说得很厉害,但实际是怎么样的,只有他个人知道。大部分人还是处于问问题阶段,虽然某个环节可以使用一些好一点的工具,让它可以读取本地的文件,人工补上一些公司内部的知识作为上下文,使得效果好一些,但在整个流程上还是无法有比较大的革新。比如在开发功能的流程上,要经过需求分析、产品原型设计、概要设计、详细设计、编码、联调、测试、部署、上线这么长的流程,AI 工具目前还是只能在每个环节上省一点时间,但整体上省的时间还是比较有限的,原先说的把这些岗位都合并起来,变成全栈的开发,但这样对人的要求还是太高了,在关键时刻,AI 工具还是会掉链子,需要人工专业的干预,否则事情就会往糟糕的方向演进,这个时候还是得专业分工才能比较好解决问题。比较火的 Agent 概念,暂时也还没有看到能够大幅度提高流程的案例。
近来做了一些项目的对接,发现这类的场景能够用上 AI 的地方反而变少了。整个对接过程,真正需要写代码的地方是非常少的,更多的是需要和客户沟通所要对接的业务规则,分析两边数据的映射规则,而且对接的环境也是在客户的内网,需要经过 VPN 或者堡垒机才能访问。而 AI 要能够帮上忙,就需要提供比较全面的上下文知识,这种对接的场景,则很难提供这些上下文知识。客户的要求在客户的大脑里,需要详细和客户沟通,而且客户不一定就能够一下子全部列出来,需要一边讨论、一边尝试,才能一步步挖掘到相对全面的业务知识,这整个过程 AI 工具做不了什么。然后是两边的数据,由于环境网络的不通,也无法在客户环境上安装 AI 工具,所以数据的分析 AI 工具也很难帮上忙。等把这些都搞清楚之后,才是代码的编写,这块倒是可以让 AI 工具帮忙,但可能整个代码对接都不超过 1000 行,能够节省的时间比较有限,最麻烦的是 AI 工具无法进行调试,得部署到客户环境才能看到比较真实的效果。由于代码比较少,很多地方要给 AI 讲清楚要求,还不如自己手工快速搞定,毕竟对接的代码没有什么难度,都是抄对接的 demo 代码然后改一些参数即可。
目前感觉这块的发展有点停滞了,自己这块的技能提升也停滞了。看看那个公司试验出如何改善整个流程,才会引发比较大的变革。
夜雨聆风