近年来,人工智能技术的飞速发展给社会带来了前所未有的变革与机遇,同时也伴随着诸多风险与挑战。为了应对这些挑战,确保人工智能技术的健康发展与安全应用,2024年9月9日,国家网络安全宣传周主论坛上,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版(以下称“框架”)。
这一框架的出现,标志着我国在人工智能安全治理方面迈出了重要一步,无论是对于 AI 从业者还是广大的使用者,都提供了明确的指导和保障,具有重大而深远的意义。
一. 目前我国人工智能相关法律法体系
目前我国虽然尚未完成《人工智能法》的制定,但已生效的多部法律法规、国家标准,以及即将出台的重要文件,已针对人工智能领域,尤其是生成式人工智能,提出了全面且完善的监管要求。包括:

而《人工智能安全治理框架》作为目前中国人工智能监管体系中的整体框架性、原则性指导文件,与其他强制性,或者非强制性但有较强指导性的文件相同,都具有重要的指导意义。
二. 人工智能安全治理框架
该框架按照风险管理的理念,紧密结合人工智能技术特性,分析人工智能风险来源和表现形式,针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险,提出相应技术应对和综合防治措施,以及人工智能安全开发应用指引。
1. 人工智能安全治理框架核心原则及解读
(一)包容审慎、确保安全:强调在推动人工智能技术发展的同时,要充分考虑技术的安全性和对社会的影响。这意味着企业在研发和部署AI应用时,应采取审慎的态度,确保技术的安全使用,避免可能的风险和负面影响。
(二)风险导向、敏捷治理:紧密跟踪AI技术发展趋势,动态调整治理策略,以快速响应和处理AI应用中出现的问题和挑战。
(三)技管结合、协同应对:结合技术手段和管理措施,明确各参与方在AI研发和应用中的安全责任,形成有效的治理机制。
(四)开放合作、共治共享:提倡开放的心态和合作的精神,推动国际合作,共享最佳实践,建立开放性平台,形成全球共识的治理体系。
2. 人工智能安全治理框架构成
安全风险方面
在人工智能的快速发展过程中,风险管理是确保技术安全应用的关键环节。《人工智能安全治理框架》1.0版详细梳理了人工智能的风险来源和表现形式,并提出了相应的管理策略。
人工智能风险来源和表现形式:
(一)内生安全风险
模型算法安全风险:AI模型可能存在设计缺陷或训练数据的偏差,导致不准确的预测或决策,甚至可能被恶意利用。
数据安全风险:涉及违规收集使用数据、训练数据含不当内容、数据标注不规范、数据泄露等。
系统安全风险:AI系统的脆弱性可能被黑客利用,导致系统崩溃或被恶意控制。
(二)应用安全风险
网络域风险:AI系统可能成为网络攻击的目标,如通过深度伪造技术制造虚假信息。
现实域风险:AI技术在物理世界的应用,如自动驾驶,可能因系统故障导致安全事故。
认知域风险:AI决策可能影响人类的认知和行为,如算法偏见可能导致不公平的决策。
伦理域风险:AI 应用可能引发一系列伦理方面的争议,例如自动化进程致使就业岗位减少,以及智能机器人所涉及的道德责任界定等问题。
技术应对措施方面
在《人工智能安全治理框架》1.0版中,提出了一系列技术应对措施,以构建全面的安全防护体系。
(一)模型算法安全风险应对
- 提高AI可解释性、可预测性,明确系统内部构造和输出结果的推理逻辑。
- 建立安全开发规范,消除模型算法的安全缺陷和歧视性倾向,提高鲁棒性。
(二)数据安全风险应对
- 遵循数据收集使用的安全规则,保护用户控制权、知情权、选择权。
- 加强知识产权保护,防止侵犯知识产权。
- 严格筛选训练数据,确保数据的真实性、准确性、客观性和多样性。
(三)系统安全风险应对
- 提高AI系统的透明性,对输出内容进行明晰标识。
- 加强算力平台和系统服务的安全建设、管理、运维能力。
综合治理措施方面
推动政府、企业、社会等多方参与,形成协同共治的治理体系。
(一)实施分类分级管理
(二)建立追溯制度
(三)完善数据安全和个人信息保护规范
(四)构建负责任的AI研发应用体系
(五)强化供应链安全保障
(六)推进可解释性研究
(七)建立风险威胁信息共享和应急处置机制
(八)加大安全人才培养力度。
(九)安全宣传教育、行业自律、社会监督机制
(十)国际交流合作
安全开发应用指引方面
《人工智能安全治理框架》1.0版为AI研发者、服务提供者、重点领域使用者以及社会公众等提供了一系列的安全指导规范,确保AI技术的安全可靠应用。
(一)模型算法研发者
- 在关键环节践行科技伦理规范,重视数据安全和个人信息保护。
- 确保模型算法训练环境的安全性,包括网络安全配置和数据加密措施。
- 评估模型算法潜在偏见,加强训练数据内容和质量的抽查检测。
- 结合目标市场适用法律要求和风险管理要求,评估AI产品和服务能力成熟度。
(二)服务提供者
- 公开AI产品和服务的能力、局限性,支持使用者行使监督和控制责任。
- 提高风险防范意识,建立健全实时风险监控管理机制。
- 将AI系统运行中发现的安全事故、安全漏洞及时向主管部门报告。
(三)重点领域使用者
- 审慎评估AI技术的应用影响,加强风险防范意识与应对处置能力。
- 合理限制AI系统对数据的访问权限,制定数据备份和恢复计划。
- 确保操作符合保密规定,在处理敏感数据时使用加密技术等保护措施。
(四)社会公众
- 提高对AI产品安全风险的认识,选择信誉良好的AI产品。
- 了解产品的数据处理方式,避免使用不符合隐私保护原则的产品。
- 关注网络安全风险,避免AI产品成为网络攻击的目标。
三. 对比欧盟《人工智能法案》
欧盟《人工智能法案》对人工智能技术的法律监管尤为重视,着重强调公民权利、隐私及数据安全的保护,同时设立了严格的技术标准和伦理规范。而我国的《人工智能安全治理框架》致力于在创新激励与安全保障间寻求平衡,提出了包容审慎、风险导向等原则,既积极鼓励技术创新,又切实确保安全处于可控范围。
在风险分类层面,二者均覆盖了模型算法、数据安全、系统安全等多个领域。然而在具体应对策略上,我国《框架》更强调技术与管理深度融合的综合治理手段,突出各方协同应对、共治共享的理念;欧盟《法案》则更侧重于法律层面的约束与监管,明确界定了法律责任与处罚措施。
在行业规范方面,欧盟《法案》更为具体且严格,针对不同领域的应用场景制定了详尽的规则与标准。而我国的《框架》则高度重视与国际社会的合作交流,积极倡导构建具有广泛共识的全球人工智能治理体系,有力推动全球范围内安全治理合作的形成。
总体而言,我国的《人工智能安全治理框架》在治理理念上更具灵活性与综合性,注重实现创新与安全的平衡,风险分类更为细致;应对措施强调多方协同以及技术与管理的有机结合,充分反映出不同地区的发展诉求与治理思路。
尽管二者侧重点有所不同,但目标均是推动人工智能健康、可持续发展,维护公众利益与社会福祉,都具备极高的参考价值与实践意义。







沪公安网备案 沪公安网备案 31010402335096号