首个AI管理体系标准：ISO/IEC 42001能否让“安全”成为共识？
人工智能，无疑是近几年来炙手可热的词汇。
尤其是今年，生成式人工智能（AIGC）的异军突起，快速闯进了大众的视野，一时之间，各种类似产品此起彼伏，各大人工智能企业忙得不亦乐乎。
但是，我们都知道，智能是个好东西，但也可能是个坏东西。人之所以会行善作恶，就是因为人具有高级智能。机器智能也大抵如此。
一直以来，人类对于机器智能总是怀着某种憧憬，同时又不可避免带有诸多恐惧，这些情绪在众多科幻影视中展现得淋漓尽致。
当然，在当前现实世界中，人工智能还未能表现出媲美人类高级智能的特征，所以，机器智能的行善作恶，无非是按照人类的指令去进行。
俗话说，没有规矩，不成方圆；木受绳则直，金就砺则利。任何一个事物的长远健康发展，没有约束性的政策法规，那大概率会野蛮生长，最终鱼龙混杂、鱼目混珠。
因此，一直以来，人们也在追求对人工智能相关标准的制定，希望更好地约束管控人工智能，使其造福于人类社会，而避免造成负面与破坏。
12月18日，千呼万唤始出来，第一个人工智能管理体系标准正式发布，名为“ISO/IEC 42001”。
01ISO/IEC 42001的现实意义与价值
ISO/IEC 42001体系标准由国际标准化组织（ISO）和国际电工委员会（IEC）合作开发，旨在为组织提供系统的框架，以负责任和有效地管理其人工智能技术。
据悉，该标准经过长达三年的筹备，由来自50多个国家的全球团队制定，将成为改善全球人工智能治理和问责制的一个组成部分，规定组织为实现其与人工智能相关的目标所需遵循的流程。
可以说，ISO/IEC 42001是人工智能领域的一场及时雨。虽然在未来，人工智能管理标准会愈发完善，会比现在更加细化和增加，但从无到有，是一次革命性的进步。
随着人工智能在商业社会中的日益渗透、日渐壮大，对人工智能的质疑与不信任也日益增加。采用ISO/IEC 42001，就是朝着有效人工智能管理的方向迈出积极的一大步，促进相关方对企业人工智能系统的信任，并展示企业对负责任的人工智能使用的承诺。
此外，ISO/IEC 42001为可认证的人工智能管理体系框架提供了具体要求，将有助于企业和组织制定稳健的人工智能（AI）管理框架。
据悉，ISO/IEC 42001采用类似于ISO 9001质量管理体系标准和ISO/IEC 27001信息安全管理体系标准的方法，提供了管理风险和操作方面的最佳实践、规则、定义和指导。
ISO/IEC 42001的目标可以总结为：
促进开发和使用可信赖、透明和负责任的人工智能系统。
在部署人工智能系统时，强调公平、非歧视和尊重隐私等道德原则和价值观，以满足利益相关方的期望。
帮助组织识别和缓解与人工智能实施相关的风险，从而降本增效。
保证包括数据保护要求在内的监管合规。
通过鼓励组织在人工智能设计和部署中优先考虑人类福祉、安全和用户体验，增强对人工智能管理的信心。
国外相关专家认为，组织若是遵守ISO/IEC 42001，企业声誉将会得以提升，并将被视为合乎道德开发或利用人工智能的领导者，从而帮助企业获得竞争优势。
DNV全球ICT行业经理Thomas Douglas对ISO/IEC 42001的发布说道：“人工智能技术及其应用，需要有明确而清晰的标准。该标准可以切实帮助组织管理风险，确保有效、安全和合乎道德地应用人工智能技术，从而帮助在组织和用户之间建立信任。我们很高兴ISO/IEC 42001终于发布，我对它将如何帮助组织取得进步感到期待。”
ISO/IEC 42001具体价值也是不言而喻。其通过明确供应链中各个模块之间的责任归属，进一步降低AI软件的风险，确保终端用户和消费者的利益最大化。
此外，中小企业采购AI软件过程中只需关注其是否符合标准，省去了繁琐的过程，降低了采购成本，进而加速了中小企业数字化进程。
对于政府部门而言，ISO/IEC 42001为其提供了监管框架，可作为参考依据对相关软件进行监督。
总而言之，ISO/IEC 42001是适用于任何从事或应用AI行业的组织和企业，是AI行业中的核心标准。
也就是说，任何规模或类型以及性质的组织，只要打算利用人工智能开发或提供产品和服务，都可以使用ISO/IEC 42001标准。
02人工智能相关法规近些年进展情况
人工智能看似很新的词汇，实际上诞生已久。
1950年，艾伦·图灵（Alan Turing）在其论文《计算机器与智能（Computing Machinery and Intelligence ）》中提出了著名的“图灵测试”，给出了判定机器是否具有“智能”的试验方法，即机器是否能够模仿人类的思维方式来“生成”内容继而与人交互。
这应该是人工智能的雏形思维。
1956年，麦卡赛、明斯基、罗切斯特和申农等一批年轻科学家聚会，共同研究和探讨用机器模拟智能等问题，并首次提出了“人工智能”术语。
人工智能概念诞生已久，监管可能却不那么及时，但近些年来，各类指南和法案也有陆续出台，也算是在监管人工智能道路上的披荆斩棘。
2017年7月，我国国务院公布《新一代人工智能发展规划》，这是我国发展人工智能的远景规划。提出未来将要对人工智能发展给予更多资金、政策支持，以及国家级的统筹规划。
该计划还明确提出了 2020 年和2025 年的发展目标，并希望到 2030 年中国能成为人工智能领域的全球创新中心，在理论、技术及应用等方面处于领先地位。
2017年12月，我国工信部印发了《促进新一代人工智能产业发展三年行动计划（2018-2020年）》。计划中提到，以信息技术与制造技术深度融合为主线，以新一代人工智能技术的产业化和集成应用为重点，推进人工智能和制造业深度融合，加快制造强国和网络强国建设。
2018年4月，欧盟委员会发布《欧盟人工智能战略》，通过提高技术和产业能力、应对社会经济变革、建立适当的伦理和法律框架三大支柱，来确立欧盟人工智能价值观。
2018年5月，欧盟实施《通用数据保护条例》（GDPR），其中涉及人工智能的主要有：要求人工智能算法具有一定的可解释性，这对于“黑箱”人工智能系统而言可能具有挑战性。
2019年8月，我国科技部制定了《国家新一代人工智能创新发展试验区建设工作指引》，指出有序开展国家新一代人工智能创新发展试验区建设，充分发挥地方主体作用，在体制机制、政策法规等方面先行先试，形成促进人工智能与经济社会发展深度融合的新路径，探索智能时代政府治理的新方式，推动新一代人工智能健康发展。
2020年1月，美国联邦政府发布《人工智能应用的监管指南》，这是美国首个人工智能监管指南，其意在为联邦政府对人工智能发展应用采取监管和非监管措施提供指引，要求联邦政府在对人工智能技术和相关产业采取监管和非监管措施时，应以减少人工智能技术应用的障碍和促进技术创新为目标。
2021年4月21日，欧盟发布《人工智能法案》（草案），为人工智能治理提供“硬法”支持，旨在促进欧洲在人工智能领域的创新能力，同时支持在整个欧盟经济中发展和采用合乎伦理且可信的人工智能。
2021年9月，我国新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》，旨在将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引。
2022年，欧盟委员会提出《人工智能责任指令》提案，进一步指出人工智能安全责任认定机制，来确定当人工智能发生故障或造成伤害时，谁应该承担责任。
2023年4月，我国科技部发布“关于公开征求对《科技伦理审查办法（试行）》意见的公告”，旨在加强科技伦理审查和监管，促进负责任创新。
2023年4月11日，中国国家网信办推出《生成式人工智能服务管理办法（征求意见稿）》，旨在促进生成式AI健康发展和规范应用，其中明确规定“研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的”均适用该办法。该条规定明确了该办法的适用范围和对象，确立了“长臂管辖”规则，将境外主体向境内提供服务情形也纳入适用范围。
2023年11月8日，中国人民银行发布《人工智能算法金融应用信息披露指南（JR/T 0287—2023）》（下文简称《指南》），《指南》目标是规范金融机构在使用人工智能算法提供金融产品和服务时的信息披露行为。
这项《指南》，可谓是国内具体领域、具体方向针对人工智能细化应用的明确性的指导性文件，具有相当重要的意义以及示范效应，其核心内容包括：
■ 信息披露原则：《指南》明确了四个基本原则，即依法合规、真实准确、及时一致和完整可读，以确保信息披露的质量和可靠性。
■ 信息披露形式：涵盖了信息披露的条件、方式和维度，强调了在关键节点（如产品发布、重大变更或服务中止等）的信息披露的重要性。
■ 信息披露内容：分为算法组合、逻辑、应用、数据、主体、变更和审计等七个方面，全面展现人工智能算法在金融服务中的应用。
随着人工智能技术在金融领域的深入应用，《指南》将对未来金融产品和服务的设计、运作和监管产生深远影响，在促进人工智能行业健康发展的同时保障消费者权益和市场公平。
当然，各国针对人工智能的法规法案数不胜数，以上不过是沧海一粟，或可看到整个人类对人工智能约束规范的脉络印记。从规划到责任再到伦理，步步深入，日渐完善。
03人工智能的应用与治理及挑战
人工智能是一项很好的技术，不利用起来着实可惜。但利用不代表可以滥用。
一项由Splunk委托进行的研究中，调查了200多个组织的高级决策者，平均员工规模为 4,255 人，受访者中54%的人拥有副总裁或更高职位，。最终调查发现与人工智能系统建立信任，是扩大人工智能在私营和公共部门使用的最大障碍。
报告称：“这项调查旨在了解公共和私营部门如何利用人工智能，并应对政府法规、伦理考量以及保护人工智能系统的挑战等障碍。”
据调查显示，人工智能的主要优势之一（80%）是用于解决网络安全优先事项。其中包括支持人工智能的监控（34%）、风险评估（33%）和威胁数据分析（29%）。
Sequretek联合创始人兼首席执行官Pankit Desai表示：“我认为人工智能在一些领域发挥着积极作用，包括漏洞识别、威胁检测、攻击预防、用户行为分析、实体分析、大数据安全分析、风险、治理、身份管理和其他领域。”
另外一项研究，也很有意思。
根据SIA对2024年网络安全大趋势的研究，其中与人工智能安全相关的三个定义性问题包括对人工智能的信任、人工智能的道德应用和人工智能的网络安全。
根据安全行业协会 （SIA） 的一项研究，人工智能在可能影响 2024 年企业安全领域的新兴趋势中名列前茅。
该研究调查了数百名安全行业商业领袖，包括2023年安全新领域（SNG）会议的几位志愿者和演讲者，表明人工智能在安全领域的多方面渗透。
调查报告认为：“93%的受访者表示，他们预计在未来5年内，像ChatGPT这样的生成式人工智能（AI）将对他们的业务战略产生影响，超过89%的受访者表示，他们的研发（R&D）管道中有活跃的人工智能项目。”
我国比较注重实用主义，我国人工智能安全及伦理根据不同场景的风险特点，安全准则、保护要求等方面也不尽相同。
比如，风险程度较高的人工智能细分领，像自动驾驶、智能医学、智慧金融、智能舆情等，则持续攻关专项治理技术。对于风险等级较低的场景类型，则给予更多技术引导，避免过度治理导致发展受限。
此外，从风险角度来看，前沿新技术的应用，往往其安全和治理的需求也在不断变化。比如，在人工智能场景中，透明可解释性缺乏统一判别标准、外部攻击手段和技术提升导致的威胁持续加剧等。
这类问题，国内早已有了解决对策。比如小步快走，迭代试错，在小范围分解问题，并尝试提出社会利益最大的解决方案。以发展促进治理，也以治理促进发展，避免了因害怕犯错而断绝了探索的脚步，继而抑制人工智能的发展与应用潜力。
另外，随着生成式人工智能的发展和普及，未来数据来源的合法合规性将成为治理重点，例如知识产权、生成式内容的真实准确性等问题，也会给行业带来全新的挑战。
考虑到生成式人工智能场景中数据来源的多样性、具有多方责任主体等特征，不合理的主体责任分配将带来的治理成本的剧增。
例如，由技术支持者承担内容安全责任，在实践中很难操作落地，内容平台进行生成合成识别的难度及成本，远高于技术或服务提供者进行水印标识。
这类问题，国内也在逐渐探索解决之中。比如在监管框架下合理区分各方主体责任，降低治理成本，最大化拓展行业创新探研空间。
诸如此类的问题，相信ISO/IEC 42001标准体系的到来，都会迎难而进，起码有尺为据，有迹可循。
04安全业者如何看待ISO/IEC 42001
非云（高级安全运维工程师）：对于我们广大技术开发者和应用者而言，对于人工智能相关技术产品的开发，以前需要仔细对照《个人信息保护法》、《网络安全法》、《数据安全法》等法律法规框架，还要结合相关意见稿所表达的监管思路，对产品进行风险评估。
现在推出了ISO/IEC 42001，对于人工智能开发研究的思路与标准有了更明确的依据和参照，可以进一步根据现有知识产权、个人信息保护、数据安全等法律法规，设计出符合人工智能伦理标准、监管要求的产品，更好地建立内控合规制度，防范各项法律风险。
GFeng（资深安全工程师）：很长一段时间以来，像许多人工智能、机器学习模型，尤其是号称神经网络技术的产品，往往都是黑盒模型。
什么是黑盒模型，就是在经过大量数据训练以后，难以确定如何及为何做出某种决定。也就是前段时间安在刊文所称的“深黑盒化”，即AI大模型分析决策的不可知性。
我认为，任何技术产品存在不可知性，都是不负责任的表现。尤其是人工智能，与只能相关的东西，更需要具备责任感和透明度，需要让其更具有可解释性。
如果人工智能一直存在不可解释性，那么在医疗、银行、金融服务和保险等敏感领域，就不能盲目地相信人工智能决策。
比如，在申请银行贷款时，如果是人工智能审批，则需要让人理解为什么有人被拒贷，是哪条哪类情况不符合贷款条件。
当前，一个新兴的研究领域是“可解释性”。其使用复杂技术来帮助为诸如决策树之类的简单系统以及诸如神经网络之类的复杂系统带来透明度。
解释有助于建立对系统的信任，也可以帮助研究人员了解为什么会犯错误以及如何快速纠正错误。
ISO/IEC 42001的发布，让人工智能的可解释性有了更好的依据和判断标准。我认为这是一项很伟大的体系标准，对人工智能领域具有深远的影响。
刘歆轶（上海非夕机器人信息安全总监）：我怀疑，ISO/IEC 42001人工智能管理体系标准对人工智能世界的重要性将不亚于ISO/IEC 27001，可以说是信息安全管理体系最重要的标准。
王加强（高级运维工程师）：我记得斯坦福大学人工智能与伦理学教授杰瑞·卡普兰曾言，机器人、机器学习以及电子个人助手，可能会开创一个全新的世界。
我也认为，未来一个全新的世界，必然离不开人工智能。但是我们又不得不怀疑，人工智能能给我们带来一个全新的世界吗？数据泄露、隐私信息泄露，人工智能可以解决这类问题吗？
众所周知，企业安全合规，数据是避不开的槛。然而长期以来，在数据安全等问题上，以人工智能企业为代表的互联网公司，一直在“摸着石头过河”，甚至是“半黑不白”，比如利用人工智能进行公共场合的人脸识别，这一点让人十分心惊。
此外，数据安全风险和隐私保护正逐渐成为人工智能系统在开发和应用过程中面临的严峻问题。
具体有以下几点表现：
a.人工智能在数据收集阶段难以保障用户的数据权利；
b.对个人脸、基因、体型、语音等生物特征数据进行采集和处理，存在较大的法律合规和隐私保护风险；
c.数据污染可能会导致人工智能算法模型失效，恶意数据投毒攻击会导致人工智能决策错误，而数据偏差可能会导致人工智能决策带有歧视性；
d.跨境数据流动也将对国家安全、数据主权等带来复杂的挑战。
ISO/IEC 42001标准体系的制定，我认为可以很好地解决上述问题，起码有了可靠依据。而不像以前通过一些零散的法规条款进行非全面性的约束与管控。
另外，ISO/IEC 42001标准体系以后还会进一步的细化和完善。因为人工智能这几年发展会越来越快，标准的制定也需要跟上。一年两年，都有可能会产生质的变化。
小白帽（信息相关专业在校大学生）：我比较担心人工智能带来的伦理问题。
因为，所谓智能，即是有思考能力。我一直认为思考能力是人类独有的能力，冷冰冰的机器怎么会去思考呢？就算思考，那也是依据人类给予的指令去思考，而不能真正去独立思考。
一旦机器可以独立思考，那么它距离产生自我意识可能就不会太远。一旦有人格化的独立意识产生，你如何去定义其是不是具有生命，是否享有人类的权利，是否会带来一些社会问题。
具体来说，人工智能带来的伦理问题主要包括：人工智能做出超越人类预期的行为，挑战现有的伦理框架及人类的思维本质；算法不透明无法解释，看似客观的数据和理性的算法，也可以产生非中立性的结果；人工智能技术的应用对社会带来的影响，对社会公平可能带来损害等等。
ISO/IEC 42001标准体系在制定的过程中，我相信制定者也认真考虑过上述问题，所以在伦理层面做出了许多规范与说明。我认为这是一项具有极大进步意义的标准体系，在提高人工智能可解释性、公平性、合理性，以及确保数据安全和个人隐私等方面，都具有实实在在的价值作用。
