极目新闻客户端

发布虚假视频散播谣言 标注AI生成绝非挡箭牌

央视新闻客户端 2026-04-10 17:17:39 阅读量:

过去一年,AI人工智能在视频图像生成领域发展一日千里,足以以假乱真。只要告诉AI你需要什么视频,它就能为你生成。一些网民利用AI生成的图像散播谣言为自己博取流量,内容越劲爆,吸引的流量越多,殊不知,最终要为自己这样的行为承担后果。

利用AI生成图像散播谣言以假乱真

网友发布立交桥倒塌画面引发关注

3月9日上午十点半,一段在短视频平台发布的视频信息引起了重庆市南岸区委网信办工作人员的注意。视频是一段立交桥倒塌的画面,这段视频是网友在3月8日21点51分上传的。上线约12个小时,点赞量5700多,转发1100多,留言1100多。由于立交桥指示牌写着南岸两字,让大量网友将这段视频的事发地与重庆南岸区联系到了一起。

整段视频仅有10秒却有诸多可疑细节

工作人员反复研判了这段只有10秒的视频,发现了更多与现实不符的细节。

重庆市南岸区委网信办网络综合治理与执法监督科副科长余宛蔓:这个视频是一个典型的三无视频,没有标题、没有配文字、没有定位。部分网民根据它上面的字样,就认定是我们南岸区。在视频的转发量、阅读量、点赞量持续上升的同时,发布者没有对视频作进一步地解释说明。这个视频中,车辆上的文字以及车牌都不是通用的阿拉伯数字以及通用的文字,车辆受损以及行人的反应状况也不太正常,AI造假痕迹特别重。

重庆市南岸区委网信办工作人员立即向消防、应急部门核实,证实近期重庆南岸区并未发生立交桥倒塌的重大事故,随着深入调查,最终确定该视频是AI生成的虚假消息。

重庆市南岸区网络安全综合治理中心主任简伟晋:经过调查,该视频是发布者通过AI生成的内容,而且账号上有很多的AI生成视频,涉及打架斗殴、安全事故等不实的信息,视频发布者对自己造谣和传谣的事实供认不讳。

标注不是挡箭牌编造虚假信息难逃处罚

这则案例有一个值得注意的地方,发布者在发布这段视频时打上了作者声明——内容由AI生成,不过最终发布者依然被警方依法作出行政拘留6日的处罚。既然作者注明了这段视频是由AI生成的,是否可以理解为这段视频并非真实存在?但是为何要予以他行政处罚?

重庆市互联网违法和不良信息举报中心处置科科长谭婧伶:首先根据治安管理处罚法的相关规定,网民不得故意散布谣言、谎报险情、扰乱公共秩序。其次,标注AI生成不等于免责,这只是内容标识的合规要求,绝不是造谣传谣的免责条款,生成式人工智能服务管理暂行办法明确规定,使用AI也不能生成传播虚假有害信息,不能以此来抵消编造谣言的法律责任。

这段立交桥倒塌的视频在上线12个小时的时间里,被很多不明真相的网友进行了二次传播,转发量达到了1100多次,变相让这个谣言散布得更加广泛。重庆市委网信办工作人员也提醒网民,在转发时要注意核实信息的真实性。

缓一缓。千万别冲动,核查关键信息,看信息来源是否权威,时间、地点、人物、事件等要素是否清晰明确。

查一查。发现内容可疑时,要查一查官方的媒体有没有报道。

停一停。在转发和评论前要先停下来,再次确定信息的真实性。如果没有核实,建议停止转发和评论。

为博流量AI生成不实信息发布

标注AI生成绝不能成为挡箭牌,编造虚假信息最终都会面临处罚。再来看两个类似的案例。

重庆涪陵区网民蒋某在3月18日凌晨四点半在短视频平台发布了一段视频,标题为“涪陵灌溪沟农贸市场对面房子倒塌”,视频上线三个小时后,蒋某于早上八点左右主动删除了这段视频。不过这段视频还是引起了重庆市涪陵区网信部门工作人员的注意。

重庆市涪陵区互联网信息办公室副主任唐超:我们发现这条信息以后,立即通过电话与区应急局联系,核实这件事情是否属实。得到的反馈是涪陵区灌溪沟农贸市场没有发生房屋倒塌的事件,我们判断这条信息属于谣言信息,立即将谣言线索转发区公安局联动开展调查处置。

经调查,网民蒋某利用AI工具生成房屋倒塌视频在网上发布了不实信息,考虑到他主动删除了视频和在线时间短,且未造成重大网络影响,警方对蒋某进行了批评教育。

AI生成内容劲爆视频浏览量迅速攀升

类似的AI生成的虚假信息事件发生在四川省武胜县。近期,四川武胜县公安局网络安全保卫大队在网络巡查中,注意到了短视频平台上出现的两段视频,其中一段视频是一名男子身着特种兵服装,身后显示爆炸的画面。另一段视频为“大量军机飞越沿口古镇”的场景。两段视频一经发布便迅速引发网民热议,浏览量快速攀升至4万余次。

武胜县公安局沿口派出所民警李杜军:我们第一时间依法传唤视频发布者杨某,杨某称为寻求消遣、打发无聊,使用AI软件合成视频发布到网络上博取流量。

警方调查了解到,杨某的账号共发布视频792条,大部分作品均利用AI快速生成。为了博取流量,视频发布者杨某利用AI制作身穿特种兵制服的视频进行发布,进而获得大量关注。随后又制作了战斗机飞越沿口古镇的AI视频,而杨某非但没有告知是AI生成视频,反而反向“辟谣”,并声称“是现实的”“要打仗了”。

武胜县公安局沿口派出所民警李杜军:我们根据《中华人民共和国治安管理处罚法》,杨某的行为扰乱社会公共秩序,造成不良社会影响,对他进行了行政处罚。

AI造谣乱象频发辟谣压力持续加大

AI技术的飞速发展,让更多的普通人可以轻松掌握并使用它,一些人为了博取流量,使用AI生成技术造谣的现象愈演愈烈。仅重庆一地,去年重庆互联网辟谣平台辟谣的内容中,AI生成的信息就占到总数的近20%。

重庆市涪陵区互联网信息办公室副主任唐超:现在使用AI是一种很常见的现象,AI使用的门槛越发低,第一,制作门槛低,造谣者只需要输入简单的指令,就能快速生成逼真的坍塌事故画面,不再需要真实拍摄或现场剪辑。第二,它的视觉冲击很强,AI生成的画面往往细节丰富,场景真实,更容易让网民信以为真,误以为“有图有真相”。第三,溯源难度很大,由于内容由算法生成,缺乏真实拍摄的时间、地点等原始信息,给核实和追查带来新的挑战。

记者调查发现,目前网民常用的AI生成视频软件,都可以免费生成事故类视频,视频一般长度在5秒到10秒之间。相关调查发现,灾难谣言因直击人类恐惧本能和社交传播规律,更容易博眼球,因此也是眼下网络谣言的重灾区。

使用生成式人工智能服务应合法合规

《生成式人工智能服务管理暂行办法》规定,提供和使用生成式人工智能服务,应当遵守法律、行政法规,尊重社会公德和伦理道德,不得生成虚假有害信息等法律、行政法规禁止的内容。根据上述规定,AI生成虚假有害信息被明令禁止,那么生成虚假有害信息的AI工具是否也要担责?

中国社会科学院大学互联网法治研究中心主任刘晓春:AI工具生成事故画面本身不算违规,因为AI无法判断用户是用于影视特效、教学模拟等合法用途,还是用于造谣传谣等违法用途。用户自己看、不传播也是合法的。对于这类视频,AI工具的提供者只要打上“AI生成”的标识,避免视频产生误导,就尽到了相应的义务。但是如果用户要求AI生成具体地点或者特定建筑物的事故视频,AI工具的提供者有可能能够意识到存在比较明显的谣言风险,这个时候应对用户进行风险警示,并对明显具有造谣意图的信息进行去除。

中国政法大学人工智能法研究院院长张凌寒:在这样的情况下,可能更多的义务就压到了传播端,传播平台要花更大的力气去鉴别、打标,甚至是下架。

治理AI生成散布谣言需多方多措并举

专家表示,治理AI生成虚假内容散布谣言,需要多方多措并举,共同治理。

中国社会科学院大学互联网法治研究中心主任刘晓春:用户也要有非常重要的法治意识和底线。首先不能首发上传AI生成的虚假信息视频,那么对于他人发布的视频,转发时一定要慎重,最好是核实后再转发,否则也可能助长谣言传播,需要承担相应的责任。

专家呼吁,面对AI生成的“有图有真相”,每一位网友都应多一次核实、少一次冲动转发。技术可以伪造画面,但法律责任和公共安全不容伪造,共同守护清朗网络空间。

责任编辑:叶晓英