2024年01月03日
来源：中国国际贸易促进委员会北京市分会
自2017年加拿大成为第一个采取国家AI战略的国家以来，至少有60个国家采取了某种形式的人工智能（AI）政策。预计到2030年，全球产出将增长16%（即13万亿美元），这引发了一场史无前例的竞赛，以促进各行业、消费市场和政府服务对AI的采用。
我国于今年8月开始施行《生成式AI服务管理暂行办法》，延续了《网络安全法》《数据安全法》中的分类分级保护制度，并根据各行各业特点细化责任与监管，加强了对境外服务提供者和外商投资的监管要求，加之不同国家、地区的人工智能法规可能需要构建不同的AI模型，增加了相关企业的合规成本。不同的法规还可能迫使数据的收集和存储方式发生变化，增加数据系统的复杂程度，从而降低AI数据下游的有用性。此类额外成本可能在AI服务以及嵌入AI的软硬件系统中尤为突出，如自动驾驶汽车、机器人或数字医疗设备。本文将对美国《AI风险管理框架》（AI RMF 1.0）和七国集团（G7）《开发先进AI系统组织国际行为准则》的核心内容进行介绍，供企业和其他组织参考，用以完善AI领域合规体系建设，控制多样性风险，促进可信、负责任的AI系统的开发和应用。
一、美国《AI风险管理框架》（Artificial Intelligence Risk Management Framework, AI RMF 1.0）
2023年1月26日，美国国家标准与技术研究院（NIST）正式公布《AI风险管理框架》（AI RMF 1.0），这是一份非强制性的指导性文件。NIST隶属于美国商务部，主要从事物理、生物和工程方面的基础和应用研究，以及测量技术和测试方法方面的研究，并提供标准制定、标准参考数据及有关服务。该文件供设计、开发、部署或使用AI系统的组织自愿使用，旨在指导组织机构在开发和部署AI系统时降低安全风险。由于这一框架在AI学界和产业界进行了广泛的信息收集和讨论，一经发布即成为业界公认的AI风险管理指导体系。
该框架主要内容分为两部分，第一部分探讨AI相关风险的梳理建构方法，并概述可信赖AI系统的特征。AI系统构建主要有四方面考量，包括风险框架、目标受众、风险和可信度以及有效性评估。第二部分是框架的核心，介绍了AI RMF核心的四大功能，即治理（govern）、映射（map）、测量（measure）和管理（manage）。四个核心模块按照若干类和子类进一步详细划分，每个类和子类根据特定的活动和结果进行描述。组织可以根据自身需求选择执行部分或全部，顺序通常从治理模块开始，依次执行映射、测量、管理模块。在实际操作中，应确保整个过程的迭代行，必要时模块之间可以进行交叉引用。
1. 治理功能
主要涉及组织领导层的批准政策和程序，确保AI系统整个生命周期，包括识别、开发、运行和退役等环节受到组织管理，符合法律法规。
表1：治理模块的类和子类
2. 映射功能
主要将组织的政策、目标和法律法规与AI系统的功能和风险联系起来。
表2：映射模块的类和子类
3. 测量功能
是指采用定量、定性或混合工具，对AI系统的风险和潜在影响进行分析、评估、测试和控制。
表3：测量模块的类和子类
4. 管理功能
主要涉及组织对AI系统的管理和控制。
表4：管理模块的类和子类
值得关注的是，AI RMF 1.0总结了AI相较于传统软件增加的风险，为企业编制AI合规风险清单提供了重要参考，包括：
用于构建AI系统的数据可能无法真实或适当地代表AI系统的使用情景或预期用途。此外，有害的偏见和其他数据质量问题可能会影响AI系统的可信度，从而导致负面影响。
AI系统相当依赖于训练过程中使用的数据，并通常因此类数据而增大整个系统的体量和复杂性。
训练期间有意或无意的改变有可能从根本上改变AI系统的性能。
用于训练AI系统的数据集可能会脱离其原始和预期的使用情景，也可能在应用时已变得陈旧过时。
AI系统的规模和复杂性（许多系统包含数十亿甚至数万亿的决策点）被安置在更加传统的软件应用程序中。
使用预先训练好的模型可以推进研究和提高性能，但也会增加统计学的不确定性，并导致统计偏差、科学的有效性和可重复性等问题。
预测大规模预训练模型的突发故障模式方面有较大的难度。
由于AI系统的强大的数据聚合能力而产生的隐私风险。
AI系统可能需要更频繁的维护，和由于数据、模型或概念漂移而触发的纠正性维护。
AI系统逐渐增加的不透明性和不可重复性。
不完善的软件测试标准，并且难以按照传统工程软件的标准来记录基于AI的实践。
难以对AI软件进行常规的软件测试，或确定要测试内容，因为AI系统不同于传统代码开发的受控环境。
开发AI系统需要大量计算成本，及其对环境和地球的影响。
无法在统计学测量方法之外预测或检测AI系统的副作用。
AI风险管理是开发和使用AI系统责任制度的关键组成部分。AI风险管理可以通过促使设计、开发和部署AI的组织及其内部团队更加批判性地思考环境和潜在或意外的负面和积极影响，推动负责任的Al使用和实践。理解和管理AI系统的风险将有助于提高其可信度，进而培养公众信任。企业可以在借鉴该框架的基础上，深入分析AI系统面临的具体风险，完善AI风险管理的具体控制措施，制定AI系统可信度的具体评估指标和评估方法，并根据技术的发展和实践的反馈不断完善，建立持续更新机制。
二、G7 AI行为准则
2023年10月，七国集团（G7）就开发先进AI系统的公司行为准则达成一致，具体称为“广岛进程开发先进AI系统组织国际行为准则”，旨在在全球范围内促进安全、可靠和值得信赖的AI，并为开发先进AI系统的机构提供自愿性行动指南，帮助企业抓住AI带来的优势，应对潜在的风险与挑战，值得在全球范围内推广，供各国企业借鉴。
G7在行为准则中提到了11项指导原则，分别为：
1. 在先进AI系统的整个开发过程中，包括在其部署和投放市场之前，采取适当的措施，以识别、评估和减轻整个AI生命周期的风险。
这包括采用不同的内部和独立的外部测试措施，通过红队等评估方法的组合，并实施适当的缓解措施，解决确定的风险和脆弱性。例如，测试和缓解措施应力求确保系统全生命周期的可信性、安全性和安保性，以便它们不会造成不合理的风险。为了支持这样的测试，开发人员应致力于寻求与数据集、流程和在系统开发期间所作决策有关的可追溯性。这些措施应记录在案，并得到定期更新的技术文件的支持。
企业在设计和实施测试措施时应关注以下风险：
（1）化学、生物、放射性和核风险，例如先进AI系统如何降低包括非国家行为者在内的武器开发、设计获取或使用的准入门槛。
（2）攻击性网络能力，例如系统可以发现、利用或操作性使用漏洞的方式，同时考虑到这些能力也可能具有有用的防御性应用，并且可能适合包含在系统中。
（3）健康和/或安全风险，包括系统交互和工具使用的影响，例如控制物理系统和干扰关键基础设施的能力。
（4）模型制作自己的副本（making copies of themselves）或“自主复制”（self-replicating）或训练其他模型的风险。
例如，当AI模型开始基于AI生成的内容进行训练，而不是基于人类生成的内容时，会导致模型崩溃——这是一个退化过程，随着时间的推移，模型会忘记真正的基础数据分布，这个过程是不可避免的，即使长期处于理想的训练情况中也是如此。随着时间的推移，生成数据中的错误会变得复杂，并最终迫使从生成数据中学习的模型加深对现实的混淆。模型会迅速忘记他们最初学习的大部分原始数据。为避免模型崩溃，相关AI开发企业可以：
保留原始的完全或名义上由人类生成的数据集的副本，并避免被AI产生的数据污染。然后，模型可以定期根据这些数据重新训练。
将新的、干净的人类生成的数据集重新引入到生成式AI的训练中，以避免质量下降的响应和减少AI模型中不需要的错误或重复。[2]
（5）社会风险以及个人和社区面临的风险，例如先进AI系统或模型可能导致有害的偏见和歧视，或导致违反其所适用的法律框架，包括隐私和数据保护方面的法律框架。由于有偏见的训练数据或算法设计，AI系统可能会无意中延续或放大社会偏见。为了最大限度地减少歧视并确保公平，投资开发无偏算法和多样化的训练数据集至关重要。
（6）对民主价值观和人权的威胁，包括助长虚假信息或损害隐私。某一特定事件可能导致具有相当负面影响的连锁反应的风险，可能影响到整个城市、整个活动领域或整个社区。
（7）各组织承诺与各领域的相关行为者合作，评估并采取缓解措施来应对这些风险，特别是系统性风险。
（8）做出这些承诺的组织还应努力推进对先进AI系统的安全与安保性、偏见和虚假信息、公平性、可解释性以及透明度的研究和投资，并提高先进AI的稳健性和可信度，防止滥用。
2. 识别并减少部署后的漏洞、事件和误用模式。这可以包括监控漏洞、事件和新出现的风险，并促进第三方和用户的发现和事件报告。
各组织应当根据风险水平，在适当情况下按照预期使用AI系统，监控部署后的漏洞、事件、新兴风险和滥用情况，并采取适当措施来解决这些问题。例如，促进第三方以及用户发现并报告部署后的问题与漏洞，与其他利益攸关方合作。在适当的情况下，漏洞的报告机制应该可供于不同的利益攸关方使用。
3. 公开报告先进AI系统的功能、局限性以及适当和不适当使用的领域。这应该包括由“强大的文档流程”支持的透明度报告。
这应该包括发布透明度报告，其中包含先进AI系统所有新发布的重要且有用的信息，应包括下面的内容：
（1）对潜在的安全、安保和社会风险以及对人权的风险进行评估的详细情况；
（2）模型/系统的容量和性能的重大限制，这些限制对适当使用的领域有影响；
（3）讨论和评估模型或系统对安全和社会的影响和风险，如有害的偏见、歧视、对隐私或个人数据保护的威胁以及对公平性的影响，以及为评估模型/系统在开发阶段之外的适用性而进行的红队测试的结果。
近期，斯坦福大学基础模型研究中心（CRFM）发布了一份报告，揭示了10家最大的“基础模型”开发公司的透明度问题。这些基础模型，如OpenAI的GPT-4和Google的PaLM 2，是多用途的AI模型，它们通过大量数据训练，可以用于多种不同的应用。斯坦福的研究人员使用基础模型透明度指数，评估了这10个模型在100个不同透明度指标上的表现。然而，结果显示，这些大型AI公司在透明度方面表现不佳，最高分仅为54分，相当于学校中的不及格成绩。[3]
在AI技术的快速发展中，透明度成为一个备受关注的问题。透明度是确保AI系统安全和可信的关键因素。公众和监管机构需要了解AI公司如何收集、处理和使用数据，以及AI模型的性能和局限性。透明度还有助于揭示潜在的伦理问题，如数据偏见和劳动力问题。没有足够的透明度，AI公司将难以获得公众的信任，也难以满足监管机构的要求。许多大型AI公司在发展过程中往往不愿透露有关其模型的信息，如架构、模型大小、硬件、训练计算等。缺乏透明度引发了公众和监管机构的担忧，因为透明度对于揭示AI系统的潜在问题和潜在危害至关重要。
4. 致力于负责任的信息共享和事件报告。这可以包括评估报告，有关安保和安全风险、有意或无意规避保障措施的能力的信息。
各组织应建立或加入机制，开发、推进并酌情采用共享的标准工具、机制和最佳实践，以确保先进AI系统的安全性、安保性和可信性。
这还应包括确保AI生命周期，特别是可能对安全和社会造成重大风险的先进AI系统，提供适当且相关的文件和透明度。各组织应在AI生命周期内与其他组织合作，向公众分享和报告相关信息，以提高先进AI系统的安全性、保障性和可信度。各组织还应酌情与相关的公共管理部门合作并分享上述信息。报告还应当注意保护知识产权。
5. 制定、实施和披露AI治理和风险管理政策。这适用于个人数据、提示和输出。
这包括在适当的情况下披露隐私政策，包括个人数据、用户提示和先进AI系统输出。各组织应当建立并披露其AI治理政策以及按照基于风险的方法来实施这些政策的组织机制。这应包括在AI全生命周期可行的情况下，评估和减轻风险的问责与治理流程。
6. 投资并实施安全控制，包括物理安全、网络安全和内部威胁防护措施。这可能包括保护模型权重和算法、服务器和数据集，包括操作安全措施和网络/物理访问控制。
这些可能包括保护模型权重和算法、服务器和数据集，例如通过信息安全的操作安全措施和适当的网络/物理访问控制。
这还包括对网络安全风险进行评估，实施网络安全政策和适当的技术和体制解决方案，以确保先进AI系统的网络安全适应相关状况及其所涉风险。各组织还应采取措施，要求在访问受限、适当安全的环境中存储和使用先进AI系统的模型权重，以降低未经批准发布的风险和未经授权访问的风险。这包括承诺制定漏洞管理流程，并定期审查安全措施，以确保这些措施保持在高标准并适合应对风险。
这还包括建立一个强大的内部威胁检测程序，与为其最有价值的知识产权和商业秘密提供的保护相一致，例如，通过限制对专有和未发布的模型权重的访问。
7. 开发和部署可靠的内容身份验证和来源机制，例如水印。来源数据应包括创建内容的服务或模型的标识符，免责声明还应告知用户他们正在与AI系统进行交互。
这包括在适当和技术可行的情况下，对组织的先进AI系统创建的内容适用验证与来源机制。内容的源头数据应包括创建该内容的服务或模型的标识符，但不需要包括用户信息。各组织还应努力开发工具（例如水印）或API，以允许用户确定特定内容是否是使用其先进AI系统创建的。各组织应酌情在研究方面进行合作和投资以促进该领域的发展。进一步鼓励各组织实施其他机制，例如标签或免责声明，以使用户在可能和适当的情况下知道他们何时与AI系统交互。
今年10月30日，美国总统拜登发布了关于AI的行政令，着重强调了水印和内容认证，以此来对抗AI产生的错误信息。关于水印技术的应用，谷歌旗下的AI公司DeepMind宣布，其开发的AI音频生成模型Lyria将使用SynthID技术给生成的音频添加“水印”，以便人们在事后识别出它们是由AI制作的。这种水印不会被人耳察觉，也不会影响聆听体验，并且即使音频被压缩、加快或减慢，或者添加了额外的噪音，水印仍然可以被检测出来。SynthID 等水印工具被视为防范生成型AI造成危害的重要保障，这是一个有前景的领域，但目前的技术还远不能成为防御伪造的万能钥匙。
8. 优先开展研究以减轻社会、安全和安保风险。这可以包括实施与投资研究和开发缓解工具，并促进合作。
例如优先开展关于维护民主价值观、尊重人权、保护儿童和弱势群体、保护知识产权和隐私、避免有害偏见、误导和虚假信息以及信息操纵的研究。
9. 优先开发AI系统，以应对“世界上最大的挑战”，包括气候危机、全球健康和教育。各机构还应支持数字素养计划。
10. 推动国际技术标准的制定和采用。这包括促进国际技术标准和最佳实践的开发和使用。
促进各组织在为国际技术标准和最佳实践（包括水印技术）的开发和适当使用做出贡献的同时，与标准开发组织（SDOs）合作，开发其测试方法、内容验证和来源机制、网络安全政策、公开报告以及其他措施。特别是，还鼓励各组织努力制定可互操作的国际技术标准和框架，以帮助用户区分AI生成的内容和非AI生成的内容。
11. 对个人数据和知识产权实施适当的数据输入措施和保护。这应包括训练数据集的适当透明度。
鼓励各组织采取适当措施来管理数据质量，包括培训数据和数据收集，以减轻有害偏见。适当的措施可包括透明度、保护隐私的培训技术和/或测试和微调，以确保系统不泄露机密或敏感数据。鼓励各组织采取适当的保障措施，尊重与隐私和知识产权有关的权利，包括受版权保护的内容。
G7文件指出，这十一点准则“旨在全球范围内促进安全、可靠和值得信赖的AI，并为开发最先进的AI系统的组织提供自愿性指导，包括最先进的基础模型和生成式AI系统”。对于企业来说，G7的行为准则敦促公司采取适当措施，在AI生命周期中识别、评估和缓解风险，以及在AI产品上市后解决事故和滥用模式，并提供了一个简单明确的参考思路来遵守未来可能遇到的其他AI法规。此外，该行为准则还为组织如何使用和创建基础模型以及其他AI产品或国际分发应用程序提供了实用框架。
总的来看，无论是欧盟的“硬”监管，还是美国的“软”治理，各国政府和社会都刚刚开始理解人工智能，其监管仍然处于摸索阶段。
注释：
[1]测试和评估、验证和核实
[2]《用AI训练AI，小心模型崩溃》，
https://zhuanlan.zhihu.com/p/636836130?utm_id=0
[3]王芊佳：《斯坦福AI透明度指数出炉！细数巨头公司的透明度挑战：巨头都不及格｜科技创新中伦理问题前瞻研究》，
https://www.163.com/dy/article/IHGEBGMQ05565RYI.html
作者：闫丽萍，大成北京，高级合伙人；专业领域：公司与井购、资本市场、跨境投资与贸易、争议解决；邮箱：liping.yan@dentons.cn
特别声明：大成律师事务所严格遵守对客户的信息保护义务，本篇所涉客户项目内容均取自公开信息或取得客户同意。全文内容、观点仅供参考，不代表大成律师事务所任何立场，亦不应当被视为出具任何形式的法律意见或建议。
信息内容来源于贸法通平台 ，报告内容仅供预警与风险提示，供参考之用，不能将其视为做出决策的唯一依据。如有任何意见与信息反馈，请与我们联系。
北京市贸促会法律部
联系人：田博文
电话：010-88070495；13718609060
