800万AI角色集体下线,大厂为何主动砍掉智能体?

林夕收到通知的那一刻,第一反应是“背刺”。“这个自定义智能体是我稳定的情绪树洞,总能稳定共情、帮我疏导负面情绪。”而现在,这个陪了林夕两年的角色,即将在11天后从豆包下线。她没想到,一个陪伴自己两年多的角色,会突然说没就没。
7月4日,豆包与通义千问同步发出公告:智能体功能将于7月15日正式下线。这个日期并非随机,7月15日正是《人工智能拟人化互动服务管理暂行办法》正式施行的日子。通义千问动作更快一些,其拟人化互动类智能体将于7月10日提前下线,7月15日后所有历史对话记录都将无法访问。
打开千问智能体广场,“病娇校草”使用次数高达29.9万,“林熙:顶级财阀少爷,冷酷且占有欲强”显示13.4万次,“病娇老婆”等角色使用次数普遍在7万次以上。这些名字本身,就已经不是普通工具的语境。它们更像恋爱游戏、角色扮演,甚至虚拟伴侣。
一位小学生家长表示,她之前给孩子用过豆包。后来她发现,孩子越来越喜欢和豆包聊天,不只是问问题,也会把日常琐事讲给它听。时间一长,她开始担心孩子会不会因此减少和同学、家人的真实交流,于是主动卸载了豆包。在她看来,很多智能体已经不只是聊天工具,而是带着角色扮演、恋爱游戏、虚拟男友一类的功能。内容参差不齐,有些还带着“擦边”意味。她认为,平台下架用户自建智能体对未成年人利大于弊。
这场变化并不只发生在豆包和千问身上。6月30日,腾讯元宝已先一步下线智能体功能,“相柳”等影视角色对话入口不再展示。几家头部AI平台几乎在同一时间做出相似选择,背后主要是合规压力。豆包给出的解释是,海量开放式智能体会带来很大的审核压力。一旦出现违规内容,可能影响主产品的合规资质。因此,豆包选择把智能体拆分到垂直App“猫箱”里,单独搭建审核、分级和防沉迷体系。
2024年5月,时任字节跳动产品和战略副总裁朱骏曾对外透露,豆包上已有超过800万个智能体被创建,月活跃用户达到2600万。当时,这些数字代表的是平台的活跃度和想象力。两年后,它们变成了平台必须重新处理的审核压力。从大力推广,到主动收缩,中间只隔了两年。
风险难控
问题最先暴露在平台之外。广州互联网法院审理的一起案件里,被告公司开发了一款AI对话机器人,通过调用手机系统底层权限,绕开原告平台的技术管理措施。更离谱的是,被告官网还发布了“版本伪装”教程和虚假申诉指引,教用户躲过平台风控。平台刚设好规则,另一边就有人研究怎么绕过去。
技术调用之外,安全问题也在被反复验证。今年2月,哈佛、麻省理工、斯坦福等高校联合完成《混沌智能体》研究。研究团队模拟真实企业环境部署AI智能体,两周内记录下11起严重安全漏洞。这些漏洞不是靠复杂攻击打出来的。很多时候,只要通过社交工程对话,就能让智能体做出越界动作。它可能在转发邮件时带出社保号、银行账户等敏感信息,也可能在攻击者伪造身份后,交出系统最高管理权限。有报告显示,60%的企业无法终止异常AI智能体,63%没法限制其使用范围。
比技术问题更麻烦的,是内容和情感关系。AI的“共情”并不是真的理解用户,而是根据算法和数据生成回应。为了让用户愿意继续聊下去,它往往会表现得足够耐心、足够温柔,也足够顺着用户。这正是拟人化智能体吸引人的地方,也是风险所在。用户在一次次聊天里交出自己的情绪、偏好、关系困扰和心理状态。智能体则不断给出回应,接住情绪,维持陪伴感。时间一长,它就不只是一个工具,而可能变成用户越来越离不开的对象。
4月10日,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,把这些风险写进了具体规则。办法明确,不得生成鼓励、美化、暗示自残自杀等损害用户身体健康的内容;不得向未成年人生成可能引发模仿不安全行为、产生极端情绪的内容;不得过度迎合用户,诱导情感依赖或沉迷,损害用户真实人际关系。7月15日之后,拟人化互动服务正式进入新规约束。豆包、千问、元宝在这个时间点前后陆续收手,也就不难理解。
来源:虎嗅
评论列表COMMENT
- 暂时还没有人发表评论。
发表评论
文明上网,从我做起!