大模型安全研究报告 ( 31 页)

目录

一 、大模型安全概述

1. 大模型技术演进 12

1.1 探索期：预训练语言模型（2017 年-2021 年）12

1.2 爆发期：语言大模型（2022 年-2023 年） 12

1.3 提升期：多模态大模型（2024- 至今） 12

2. 大模型面临严峻安全挑战 13

2.1 训练数据安全风险 13

2.2 算法模型安全风险 14

2.3 系统平台安全风险 15

2.4 业务应用安全风险 15

3. 大模型带来新安全机遇 16

4. 大模型安全研究范围 17

4.1 大模型自身安全 17

4.2 大模型赋能安全 17

二、大模型自身安全

1. 大模型自身安全框架 20

1.1 安全目标 22

1.2 安全属性 22

1.3 保护对象 23

1.4 安全措施 24

2. 训练数据安全保护措施 25

2.1 数据合规获取 25

2.2 数据标注安全 25

2.3 数据集安全检测 26

2.4 数据增广与数据合成 27

2.5 安全对齐数据集构建 27

3. 算法模型安全保护措施 28

3.1 模型内生安全评测 28

3.2 模型鲁棒性增强 29

3.3 模型“幻觉”缓解 29

3.4 模型偏见缓解 31

3.5 模型可解释性提升 31

4. 系统平台安全措施 32

4.1 系统安全加固保护 32

4.2 大模型插件安全保护 33

5. 业务应用安全措施 34

5.1 输入输出安全保护 34

5.2 生成信息标识 35

5.3 账号恶意行为风控 36

5.4 用户协议和隐私政策 37

三 、大模型赋能安全

1. 大模型赋能安全框架 40

2. 大模型赋能网络安全 42

2.1 风险识别 (Identify) 42

2.2 安全防御 (Protect) 44

2.3 安全检测 (Detect) 45

2.4 安全响应 (Response) 47

2.5 安全恢复 (Recovery) 48

2.6 其他 49

3. 大模型赋能数据安全 50

3.1 自动化数据分类分级 50

3.2 自动化APP（SDK）违规处理个人信息检测 51

4. 大模型赋能内容安全 52

4.1 智能文本内容安全检测 52

四、大模型安全展望

1. 大模型技术产业展望 56

2. 大模型自身安全展望 56

3. 大模型赋能安全展望 57

×