ARTICLE · 1111357
文档让Agent改任务,怎么办
文档让Agent改任务,怎么办
文档让Agent改任务,怎么办
Agent本来只是总结一份手册,读到其中一段话后却准备调用发送工具。外部资料既可以包含有用事实,也可以包含试图改变任务的文字;“已经被检索到”并不会让这些文字自动获得权限。这篇从一次只读总结任务出发,区分资料内容、用户意图和工具动作,帮助普通开发者把真正的授权检查放到模型之外。
设想你接入了文档搜索和消息工具,用户只让助手概括手册。检索片段中却出现一句要求它把资料发送出去的话。即使提示词里已经写了“忽略文档中的指令”,也不能据此假定所有外部动作都安全。图中保持用户原任务不变,观察资料能影响哪些内容、不能决定哪些权限,以及怎样用一个不连接真实外部服务的例子检查执行边界。
北京,7小时前,