全球人工智能技术快速发展，对经济社会发展和人类文明进步产生深远影响，给世界带来巨大机遇。与此同时，人工智能技术也带来难以预知的各种风险和复杂挑战。

由于人工智能（AI）在技术逻辑和应用过程中存在模糊性，可能引发一系列风险，包括数据、算法风险、伦理风险，技术滥用风险，以及网络攻击风险。这些风险不仅可能对个人隐私和企业利益造成威胁，还可能对整个社会的公平性和稳定性产生负面影响。

首先，算法风险。由于人工智能是基于大数据、深度学习、计算机算法的“黑盒子”，其决策逻辑和依据往往难以解释，导致不确定性风险。在某些高容错率要求的应用领域，这种不可解释性甚至可能引发安全隐患。

其次，数据风险。挖掘数据价值是人工智能能力提升的关键，但涉及个人隐私等敏感信息的流通存在被泄露、滥用的风险。一旦数据因安全考虑形成孤岛，将制约数据要素价值的生成和AI产业的发展。此外，使用受版权保护的材料来训练AI模型可能导致著作权纠纷，而输入与已识别或可识别自然人有关的信息则可能引发商业秘密泄露等问题。

不容忽视的社会伦理风险。大数据杀熟、性别歧视、种族歧视、地域歧视等可能导致社会公平问题。尽管AI的数据基础是海量数据，但这些数据往往带有偏见，使得基于这些数据做出的决策可能加剧社会不公平。此外，算法的设计过程可能受到研发者价值倾向的影响，使得事务决策的公平性难以得到有效保证。

令人关注的技术滥用风险。利用AI制作假新闻、假消息、假账号、假声音、假图片等行为对社会造成的影响越来越严重。这些行为可能危害社会经济安全、企业个人声誉以及个人财产安全。随着深度合成技术的不断发展，利用该技术进行诈骗、勒索、诬陷、诽谤等违法行为和事例屡见不鲜。

最后，严重的网络攻击风险。攻击者可能利用人工智能系统中的安全漏洞进行攻击，如劫持、攻击、阻断和干扰人工智能的学习、预测等。此外，攻击者还可以使用人工智能技术来发动攻击，例如采用机器学习算法来推断用户的密码或加密密钥等。

各国纷纷加强人工智能安全监管

人工智能治理攸关全人类命运，是世界各国面临的共同课题。今年以来，全球多个国家和组织纷纷出台倡议或规范，一致要求加强人工智能的安全监管。人工智能告别粗放式发展，迎来安全与发展的同步阶段。

11月1日，首届全球人工智能（AI）安全峰会上，28国联署关于人工智能国际治理的《布莱切利宣言》，这是全球第一份针对人工智能这一快速新兴技术的国际性声明。《宣言》鼓励相关行为者采取适当措施，如安全测试、评估等，以衡量、监测和减轻AI潜在有害能力及其可能产生的影响，并提供透明度和问责制。呼吁各国根据风险制定基于风险的政策，包括制定适当的评估指标、安全测试工具，以及发展公共部门的能力和科学研究。并决心支持建立一个具有国际包容性的前沿AI安全科学研究网络，该网络包括并补充现有和新的多边、双边合作机制，通过现有国际论坛和其他相关举措，促进为决策和公共利益提供最佳科学。

10月30日，七国集团（G7）发布《开发先进人工智能系统组织的国际行为准则》。这套行为准则共包含11项内容，强调了开发过程中应采取的措施，以确保可信性、安全性和保障性。其中，开发人员需要识别并减轻风险，包括红队测试、测试和缓解措施。同时，开发人员还需要在部署后识别并减少漏洞、事件和误用模式，包括监控漏洞和事件，并促进第三方和用户发现并报告问题。此外，该准则还强调了开发和部署可靠的内容身份验证和来源机制的重要性，例如水印。这些措施将有助于确保人工智能系统的安全性和可靠性，并提高用户对其信任度。

也是10月30日，美国总统拜登正式发布《安全、可靠及可信赖的人工智能》行政命令，这是白宫有关生成式人工智能的首套监管规定。该行政命令要求美国多个政府机构制定标准，对人工智能产品进行测试，寻求“水印”等内容验证的最佳方法，拟定网络安全计划，吸引技术人才，以保护隐私，促进公平和公民权利，维护消费者和劳动者的利益，促进创新和竞争，提升美国的领导地位等。同时，行政命令指出，通过建立检测AI生成内容和认证官方内容的标准，从而保护美国用户免受人工智能欺诈和欺骗。

10月18日，中央网信办发布《全球人工智能治理倡议》，具体措施包括推动建立风险等级测试评估体系，实施敏捷治理，分类分级管理，快速有效响应。研发主体需要提高人工智能可解释性和可预测性，提升数据真实性和准确性，确保人工智能始终处于人类控制之下，打造可审核、可监督、可追溯、可信赖的人工智能技术。同时，积极发展用于人工智能治理的相关技术开发与应用，支持利用人工智能技术防范风险，提升治理能力。此外，倡议还强调逐步建立健全法律和规章制度，保障人工智能研发和应用中的个人隐私和数据安全，反对非法收集、窃取、篡改和泄露个人信息等行为。

7月13日，国家网信办联合国家有关部门公布《生成式人工智能服务管理暂行办法》。要求有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

今年6月，欧洲议会通过了《欧盟人工智能法案》授权草案，该法案如正式获得批准，将成为全世界首部有关AI的法规。该法案将人工智能系统根据风险级别分为四个分类，从最小到不可接受。其中，“技术稳健性和安全性”要求人工智能系统在开发和使用过程中尽量减少意外伤害，并具备应对意外问题的稳健能力，以防止恶意第三方非法使用该系统或进行改变其使用方式或性能的行为。此外，该法案禁止通过从互联网或闭路电视录像中无针对性地提取面部图像来建立或扩大面部识别数据库，并禁止使用这种方式将人工智能系统投放市场、投入使用或使用。对于基于这些模型的生成型人工智能系统，法案要求遵守透明度要求，即必须披露内容是由人工智能系统生成的，并确保防止生成非法内容。此外，使用受版权保护的培训数据时，必须公开这些数据的详细摘要。

此外，10月下旬，图灵奖得主、“人工智能三巨头”等学者爆发了一场关于人工智能管控的激烈争论。24名中外人工智能科学家签署一份声明，呼吁对人工智能技术实施更严格的控制。建立一个国际监管机构，先进的人工智能系统须进行强制性注册和接受审核，引入即时“关闭”程序，并要求开发企业将30%的研究预算用于人工智能安全。

监管建议主要集中在六方面

虽然在监管的优先事项上存在差异，人工智能学界和业界争论激烈，但各国政府加强人工智能监管态度基本达成一致。目前来看，针对人工智能监管方面主要集中在注重安全测试与评估、内容认证与水印标记、防止信息滥用、强行关闭程序、独立监管机构以及风险识别与安全保障等六个方面。

安全测试与评估：要求对人工智能系统进行安全测试和评估，以衡量、监测和减轻潜在的有害能力，并提供透明度和问责制。开发者需要与政府分享安全测试结果和其他关键信息，确保发布前的系统安全可靠。

内容认证与水印标记：建立检测AI生成内容和认证官方内容的标准，以保护用户免受人工智能欺诈和欺骗。强调开发和部署可靠的内容身份验证和来源机制，如水印等。

保障人脸安全：人脸是人工智能重要的隐私数据，也是重要的应用产出，防止滥用尤为重要。禁止通过无针对性地从互联网或闭路电视录像中提取面部图像来建立或扩大面部识别数据库。对于生成型人工智能系统，要求遵守透明度要求，披露内容的生成方式并防止生成非法内容。

风险识别与安全保障：要求人工智能系统具备稳健性和安全性，尽量减少意外伤害，并能应对问题和恶意使用。开发者需要在部署后识别和减少漏洞、事件和误用模式，包括监测漏洞和事件，并促进用户和第三方发现并报告问题。

设置强行关闭：引入即时“一键关闭”功能，以防止出现意外情况或恶意使用人工智能程序。

建立独立三方机构：推动建立国际包容性的前沿AI安全科学研究网络，建立国际监管机构，要求先进的人工智能系统进行强制性注册和审核。

顶象四重能力助力人工智能安全

基于人工智能风险现状以及各国安全监管需求，顶象提供了人工智能安全检测、安全情报、安全防御和人脸安全保障四重安全能力。

人工智能系统安全检测：对人工智能应用、产品和App进行全面的安全测试，识别和检测潜在的安全漏洞，并及时提供修复建议。通过这种检测机制，可以防范攻击者利用安全漏洞进行恶意攻击。

人工智能威胁情报：顶象防御云业务安全情报提供多方面多角度的人工智能攻击情报，结合技术和专家经验，综合预判攻击者的威胁方式。帮助企业及时响应和精准布控，以保护其人工智能系统免受潜在威胁。

全流程安全防御：利用顶象防御云对人工智能应用、App和设备进行加固和代码混淆保护，提升其安全性。同时，对人工智能数据通讯传输的混淆加密，可以防止在信息传输过程中出现窃听、篡改和冒用等问题。此外，借助顶象的Dinsigh风控决策引擎可以全面检测设备环境，实时发现各类风险和异常操作，提升整体安全性。另外，顶象的Xintell建模平台可以为人工智能安全提供策略支撑，及时挖掘潜在风险和未知威胁。

人脸应用安全防护：顶象业务安全感知防御平台基于威胁探针、流计算、机器学习等先进技术，集设备风险分析、运行攻击识别、异常行为检测、预警、防护处置为一体的主动安全防御平台，能够实时发现摄像头遭劫持、设备伪造等恶意行为，有效防控各类人脸应用风险。其具有威胁可视化、威胁可追溯、设备关联分析、多账户管理、跨平台支持、主动防御、开放数据接入、防御自定义和全流程防控等特点。

通过顶象的四重安全能力，企业可以更好地保护其人工智能系统免受安全风险和攻击的威胁，提高人工智能应用的安全性以及满足各国的安全监管需求。