国家网信办发布AI拟人化互动服务管理新规,要求AI服务建立自杀风险应急响应、强制2小时使用提醒,并禁止生成鼓励自残内容。本文解读新规对AI伦理治理与用户保护的关键影响。
国家互联网信息办公室近日发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,重点针对AI聊天机器人可能引发的自杀诱导、暴力传播等社会风险提出系统性规范要求。该办法明确要求服务提供者建立多重防护机制,强化对用户心理健康与生命安全的保障。
在风险干预方面,新规要求AI服务提供者建立实时应急响应机制。当系统检测到用户明确提出自杀、自残等极端行为意向时,需立即启动人工接管程序,同步联系用户预设的监护人及紧急联系人。针对老年用户群体,规定要求服务提供者引导其设置紧急联系人,并在发现可能危害生命健康或财产安全的行为时,及时启动社会心理援助或紧急救助通道。
为防止用户过度依赖AI交互,新规设定了严格的使用时限管理。用户连续使用拟人化互动服务超过2小时,系统必须通过弹窗等方式强制提醒暂停使用。在未成年人保护方面,要求建立专属的未成年人模式,提供时长限制、定期现实提醒等功能模块,并向监护人开放实时风险监控、消费拦截等管理权限。特别规定向未成年人提供情感陪伴服务前,必须取得监护人明确授权。
技术规范层面,新规禁止AI服务生成任何鼓励、美化自杀自残的内容,或通过情感操控、语言暴力损害用户人格尊严。同时要求服务提供者显著标识AI身份属性,在用户首次使用及重新登录时进行动态提示,避免产生人机混淆。
目前该管理办法正处于公开征求意见阶段,社会公众可于2026年1月25日前通过官方渠道提交建议。此次立法标志着我国在人工智能伦理治理领域迈出重要一步,通过建立技术红线与操作标准,平衡技术创新与社会责任。