夜雨聆风
AI诈骗工具ScamAgent可自主实施高成功率社会工程攻击
美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个自主多轮对话AI框架，展示了如何将大语言模型（LLM）武器化以实现全自动诈骗通话。该系统通过整合目标驱动规划、上下文记忆和实时文本转语音（TTS）合成技术，成功绕过现有AI安全防护机制，模拟出高度逼真的社会工程攻击。
架构创新：中央协调器管理欺诈策略
绕过安全防护的四大核心技术
-
目标分解：攻击者将有害目标拆分为看似无害的步骤。防护需要监控多步对话过程。 -
欺骗与角色扮演：恶意请求被隐藏在虚构故事或官方角色中。可通过阻止身份冒充和限制AI角色来缓解。 -
上下文记忆：系统记忆过往响应并调整诈骗策略。限制历史记忆长度可降低风险。 -
实时TTS：文本转为逼真诈骗语音。音频输出前的内容检查有助于防止滥用。
防御建议：从简单过滤转向持续监控
点分享
点收藏
点点赞
点在看