ARTICLE · 1247079
软件工程: 安全设计
软件工程: 安全设计安全与体验往往存在冲突，产品团队在项目初期想着如何攻城略地，获取市场份额，安全往往成为必要路径。但是建立一个”黑客”典型用户，整合产品团队才会加强对安全的重视。树立一个”假想敌”，往往更容易重视和预防安全问题。 在设计阶段加入安全的设计，可以避免后续的重构和维护。AI时代，围绕大模型的使用，既有善良用户，也有恶意用户，产品设计需要识别恶意行为，提前做预防。 例如AI评审论文的功能，就遇到了恶意用户的利用。在文章里注入恶意提示词，从而干扰模型的上下文，给出错误的论文评价。
A notable emerging application is leveraging AI models to assist in reviewing scientific papers. However, recent reports have revealed that some papers contain hidden, injected prompts designed to manipulate AI reviewers into providing overly favorable evaluations.
