软件工程学院*摩根士丹利联合短期课程 | 企业人工智能安全入门

01、课程介绍

  本课程是一门基于企业安全实践、面向大学生设计的企业人工智能安全入门课程。

前置要求：学生具备一定的计算机基础和网络安全基础知识，但不要求学生具备人工智能或网络安全方面的专业背景。

课程定位：不涉及复杂的机器学习算法或高级攻击技术。

教学形式：通过简单的原理和案例讲解，配合实验作业，让学生逐步认识并理解AI系统中所涉及的主要安全问题。每节课程都将配有简单的实验作业。学生可以通过作业尝试发现AI系统中的问题，并进一步思考如何防止或减轻问题发生所带来的影响。

02、基本信息

课程名称

企业人工智能安全入门

课程性质

软件工程学院‑摩根士丹利联合短期课程

开课时间

10月14日起，两周一次

周三下午 13:30‑15:00

上课地点

华东师范大学普陀校区 教书院309

03、教学目标

  完成本课程学习后，你将能够：

1.理解人工智能（AI）、大语言模型（LLM）、检索增强生成（RAG）和人工智能代理（AI Agent）的基本概念；

2. 理解AI系统相比于传统系统，会出现哪些新的安全问题；

3. 理解提示词注入、模型越狱、信息泄露、权限滥用等AI系统常见风险，以及输入输出检查、访问控制、最小权限、人工确认、隔离与日志监控等AI系统基本控制措施；

4. 能够自主观察一个简单的AI应用系统，并找出其中可能存在的安全风险；

5. 能够自主动手完成简单的AI攻击与防御措施。

04、课时安排

课时 1｜初识 AI 与 AI 安全

理解AI和AI攻击面；理解AI为什么带来新的安全问题；理解AI威胁建模。

作业：AI威胁建模

课时 2｜AI 会被欺骗吗

理解如何利用提示词安全，越狱、信息泄露等方式攻击LLM。

作业：LLM 攻防

课时 3｜AI 能相信自己的知识吗

理解RAG；理解如何通过伪造数据攻击AI。

作业：RAG 攻防

课时 4｜当 AI 可以执行操作

理解AI Agent和Tools；理解AI执行动作的风险；理解AI供应链风险。

作业：AI Agent 攻防

课时 5｜如何让 AI 更安全

理解并设计系统性的AI安全架构工程。

作业：AI安全架构设计