12月11日，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理条例》（以下简称《条例》），强调不得使用深度合成服务从事法律、行政法规禁止的活动，要求深度合成服务提供商履行信息安全的主要责任，该条例将于2023年1月10日生效。

所谓深度合成技术，是指利用以深度学习和虚拟现实为代表的合成算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括语音、音乐生成、人脸生成、人脸替换、图像增强等技术。目前，该技术已应用于媒体、影视制作、社交娱乐、教育、电子商务等行业AI合成主播、虚拟偶像、修复历史老照片等。

近年来，随着技术的广泛实施和一、二级市场对相关轨道关注的持续升温，也出现了对深度合成技术的滥用。业内人士认为，该规定的实施有利于避免技术滥用等非法行为。

深度合成技术已广泛应用于生活

自2019年11月起，中国发布了《网络音视频信息服务管理条例》、《网络信息内容生态治理条例》、《网络信息服务算法推荐管理条例》等文件，对合成内容的生成提出了不同程度的监督要求。2022年1月28日，国家互联网信息办公室发布《互联网信息服务深度合成管理条例（草案）》，征求公众意见，对深度合成内容的使用、标记、使用范围和滥用处罚作出具体规定。

中国社会科学院哲学研究所科技哲学研究办公室主任段伟文表示，应对深度合成技术引发的社会、法律、伦理问题进行系统、前瞻性的跨学科研究，对可能出现的高风险应用场景进行有针对性的治理和监督。

2022年2月，清华大学人工智能研究院与多家机构联合发布了《深度合成十大趋势报告(2022)》(以下简称《报告》)。报告显示，2021年新发布的深度合成视频数量是2017年国内外主流音视频网站和社交媒体平台的十倍多。此外，深度合成内容的关注度也呈指数级增长。据互动数据统计，2021年新发布的深度合成视频赞数已超过3亿。

2022年深度合成技术落地也十分火爆。截至发布，抖音AI2568.1万人使用了绘画特效；根据灰豚的数据，小红书上说：AI绘画关键词热度值8.1万，相关笔记交互量76.1万；腾讯最近也推出了QQ小世界AI在画家活动中，用户上传照片可以一键生成独家异维图像，但生成结果参差不齐，有的二维结果符合原图，有的谬误千里。

国泰君安研究报告预计未来五年，AI绘画在图像内容生成领域的渗透率将达到10%-30%AI绘画以下一代互联网为重点，市场规模超过600亿元。

除了AI绘画，最近的热聊天机器人ChatGPT，数字人、虚拟主播、二级市场热炒AIGC、元宇宙等，都属于深度合成技术领域。但需要注意的是，中国科学院院士、清华大学人工智能研究所创始人张戬在报告开头写道:与其他技术不同，人工智能的安全主要来自算法本身的不安全，更容易被误用和滥用。以深度合成技术为例，犯罪分子可以利用它对社会构成巨大威胁。伪造音频、视频诬陷、诽谤、欺诈、勒索等违法行为。

根据规定，近年来，深度合成技术发展迅速，同时服务用户需求，改善用户体验，也被一些非法生产、复制、发布、传播非法和不良信息、诽谤、贬损他人名誉、荣誉、欺诈等，影响沟通秩序和社会秩序，损害人民的合法权益，危害国家安全和社会稳定。出台规定不仅是防范和化解安全风险的需要，也是促进深度合成服务健康发展、提高监管能力的需要。段伟文告诉记者，在深度合成技术的应用中，AI换脸是典型的代表，比如在短视频中传播虚假视频，可能会造成谣言，对公众产生不良影响。

避免技术滥用违法行为

本规定要求深度合成服务提供商建立健全管理体系和技术保障措施，制定公共管理规则和平台公约，认证用户真实身份信息，加强深度合成内容管理，建立健全谣言反驳机制、投诉和报告机制。同时，深度合成服务提供商应添加不影响其服务生成或编辑的信息内容的标志。提供智能对话、合成声音、人脸生成、身临其境的真实场景等生成或显著改变信息内容功能的服务，应进行显著标识，避免公众混淆或误解。

人工智能技术行业台，人工智能技术行业人士告诉记者，《规定》对AIGC该领域起着标准化的作用，但主要是为了避免技术滥用欺诈。该平台可能会在添加水印技术后继续运行，就像该行业实施的手机号码实名系统一样，对普通人影响不大。

易观智慧研究所分析师陈一墨告诉记者，规定无疑是确保深度合成技术可以正确应用和推广，但一般使用深度合成技术非法犯罪活动成本小，执法困难，所以参与者需要有相关法律和风险意识和行动。这必然会对参与者产生不同程度的影响。影响最大的应该是相关服务的供应商。由于深度合成内容覆盖范围广，供应商需要加强相关审计，这将提高供应商的运营成本。《条例》第十七条规定的明显标识定义模糊，明显标识也可能影响相关服务的体验。个人用户还需要加强自我审查，增加应用相关技术的隐性成本。

上海大邦律师事务所游云庭律师告诉中国商业新闻，新规定主要是监督与深度合成相关的人工智能，涉及人工智能元宇宙，发布的部门包括电信公安和网络信息。监管的主要目的是防止这些新事物对现有社会秩序产生太大的影响。

监管对象之一是深度合成人工智能的用户。游云庭表示，规定要求其使用这些工具不得用于非法目的，另一个对象是深度合成服务提供商，即平台的主要责任，要求其提供服务、用户实名登记、合成内容监督审计，建立非法和不良信息特征库。同时，平台要求在培训人工智能时，如果培训数据包含个人信息，则应遵守个人信息保护的相关规定。如果使用生物识别信息，应获得数据提供商的单独同意，并规定算法的伦理机制，重点关注深度合成服务生成的内容，服务提供商还应按照现行互联网管理规定备案，并由主管部门监督。

游云庭认为，对于普通人来说，这一规定要求用户使用人工智能合法遵守道德。对于平台来说，这不仅是一个监管问题，也是人工智能道德的一个挑战。

段伟文告诉记者，该规定将促进相关企业在短期内增加对安全合规、伦理等方面的投资，以及相关经验的积累。在具体实施过程中，需要探索哪些技术水平需要进行安全评估，谁来进行。因此，从长远来看，该规定对该行业的影响也需要结合具体的过程来观察。

在磨合过程中，段伟文认为有三点需要明确：一是监管部门在不同阶段对企业提出相对明确的要求；二是加强技术自律，及时发现问题，尽量减少相关风险；作为用户或消费者，全社会应创造条件，加强人工智能和数字技术的教育传播，提高公众人工智能素养和数字素养。

至于如何准确识别深度合成技术着陆行业的过程，段伟文表示，监管机构、企业和消费者需要努力建立协同治理机制。从《条例（草案）》到《条例》的最终实施，许多企业都参与了这一过程，消费者仍需要参与未来，以尽量减少对企业创新效率的负面影响。