“水军”正在借助AI进化:谁在操控你的认知?
转发
收藏
“水军”正在借助AI进化:谁在操控你的认知?
点赞 评论:1 收藏
发表于 2025-03-15 13:14:10 股吧网页版
“水军”正在借助AI进化:谁在操控你的认知?
来源:上观新闻

  单条发布成本低至1厘、一人可操控6000部手机、热点新闻时48小时炮制发布4000多条有害信息……这是“AI水军”的战绩。

  刚过去的春节档,电影《蛟龙行动》陷入排片困境、影片遭遇水军恶意打低分等话题引发网友热议,演员、导演等被攻击,最终官宣撤档。2023年,春节档上映的电影《无名》首映还没开始,在某社交平台就已出现了铺天盖地的低分评价。今年2月,小红书治理团队公布,3个月内共处置黑灰产账号超过100万个。

  这些事件背后都有网络水军的影子。网络水军是指在网络中针对特定内容发布特定信息的、被雇佣的写手。他们伪装成普通网民或消费者,通过发布、评论等对正常用户的观点和决策产生影响。

  记者调查发现,曾经以真人为主的网络水军们,正在借着AI大模型进化。网上浮现出一条围绕“AI水军”的产业链,有涉及绕开实名制批量注册账号和提供各类技术服务的上游,有提供防封养号的中游以及多种形式变现的下游。

  当AI生成的大量虚假内容和意见占据主流,我们是否也会逐渐失去辨认真实世界的能力?

正在升级的AI水军

  刚过去的春节,曾在人气演员工作室任职的杨冰看了热映电影。因为职业习惯,她在观影后会浏览票务网站的评论。

  杨冰看到评论区里,用户对电影《射雕英雄传》打出1分——最低分的评价,理由是,电影非纯汉语配音。

  杨冰觉得奇怪,一般人会认为电影中的方言使观众有沉浸感。更何况,根据平台上的显示,这位用户未曾购票。

  此番评价,更像是AI大模型了解到电影中有少数民族的语言元素而生成的。

  她还记得一则差评是关于电影《哪吒2》,写到“教材”等和电影基本无关的内容。在杨冰看来,这可能是因为片中有主人公通过师门考核的剧情,算法对此做了“解读”,复制了其他电影评论区里的内容合成而来。

  “并不是不能批评电影,而是他们甚至连电影都没看过。”依据职业经历和于冬接受媒体采访时的讲述,她笃定这些电影的评论区内充斥着水军。

  在杨冰看来,请“水军”算是业内公开的秘密。杨冰在演员工作室任职,会和“水军”打交道。请“水军”的可能是资方,也可能是粉丝的行为。“水军”们发布的内容只为达到雇主们的目的,或制造声浪,或攻击对手。

  然而,随着近年来AI大模型的发展,这个曾以真人为主的群体引入了AI,战斗力陡然升级。

  此前,杨冰的甲方计划拍摄一部电影,选角时在两名演员之间犹豫。杨冰联系到“水军”,请他们发布文章、帖子放出风声。数小时内,由AI生成的策划案和文案迅速完成,话题很快发酵,引发双方粉丝的骂战。杨冰觉得,AI水军变得更容易伪装成路人,而AI生成的帖子、评论比一些真人写的更具煽动性。

  杨冰第一次切实感受到AI水军渗透到网络并且影响公众的认知和情绪是在2023年10月。当年10月4日傍晚,一名4岁女童在上海南汇新城海滩走失,引发全网关注。

  杨冰的工作需要持续关注热点事件,判断演员是否适合转帖、回应热点事件,来引流或者塑造人设。事件发生后,她刷新着网页,关注互联网上瞬息之间的风向变化。

  10月6日开始,网上突然出现一些帖子指出“女孩父亲系继父”“女孩被带往温州”。很快,这些非正规媒体发布、未经证实的文章被转发到多个资讯平台,迅速冲上热搜。评论区里,还有一些评论被多人回复,顶到了“沙发”位。

  杨冰查看了十多篇热门帖。她点进发帖人和评论者的主页,发现这些人之前发布的或者所关注账号发布的都是AI味十足、没有营养的“水帖”。但在这次事件中,他们却发布了和过往发帖风格不同的帖子和评论。这些帖子的说法主要有4类:女童父亲系继父、当地公安力量不给力、女童原生家庭不幸、女童家长不配为人父母。文章论述大多是三段式,结构严谨,议论充分;不同的帖子之间,观点一致,只是换了不同的表述方式;不少帖子、评论发布时间密集,连IP归属地基本都是一个地方……“亲子、公权力,精准拿捏网友的关注点。”

  杨冰过去操作的网络营销,发酵时间至少1周。但此时网络上的一片喧嚣,距离“上海女童走失案”发生,才过去短短48小时。

  她推断,这背后一定有算法。

  这批帖子的效果立竿见影。6日、7日,女童父亲发布了两条求助微博,然而,评论区出现了“是继父,怪不得”“我怎么感觉你一点儿也不着急呢,希望下一次刷微博,热搜是你被抓”等恶评。更多人开始依据没有来由的事实,质疑女童父亲。

  10月18日,女童遗体在宁波市镇海区一处滩涂被发现。事件热度逐渐褪去。

  后经上海市公安局网络安全总队侦查发现,传播此次事件不实帖文的十余个自媒体账号注册人均是山东某网络科技公司旗下员工。在此次事件中,公司法定代表人李某与经理田某组织6名核心写手,借助AI批量制造不实帖文,并组织30名公司员工,通过公司控制的平台账号大量发帖转帖,累计控制114个网络账号,持续发布了涉女童走失帖文268篇,相关有害信息多达4605条。2023年10月4日至9日期间,上述团伙通过发帖炒作该事件非法获利4万余元。2023年10月11日,专案组赴山东会同当地警方将该团伙抓获。团伙中的12名涉嫌犯罪人员被移送起诉。

  如今,事件过去了1年多,杨冰记不全帖子的内容,却仍能回忆起看到帖子后的背脊发凉感:即使有网友留言提醒“女孩父亲系继父”等说法是谣言,但“人们的情绪和关注点一旦被带跑偏,就像进入了一条死胡同”。

“军团”

  杨冰透露,网络水军有一条介于灰产和黑产之间的产业链,冒头就被打,却又“野火烧不尽”。

  她介绍,工作室以往凭经营执照向通信运营商购买企业卡,养300个左右的平台账号。为了缩减成本,项目方会招募社会化程度低或圈子小的学生等兼职人员来养号,通过真人使用,互相关注点赞来维持账号的活跃度。到了项目推广期,这些账号会分发相应的推广内容。

  不过,这套工作流程的“缺点”除了声量小、团队臃肿以外,还容易泄密,行业内不乏一场场的营销策划被泄露的先例。为了规避风险,资方会选择购买网购“水军”服务,来制造声浪。

  记者在某即时通讯软件中名为“水军频道”的讨论组中看到,频道里活跃着370多人,任务主、中介和水军都会在频道内发布需求,有的派活干,有的讨活干。他们保持着松散的合作关系,形成了众包、分包形式的上下游模式。

  自称散人的“水军”们几乎人手拥有多部手机、数十个社交媒体账号。任务主一般会招募大批“散人”来完成任务。“散人”领取发帖、“控评”等任务后,就会把发布内容在各大社交平台铺开,接着反馈截图和传播效果来“领赏”,一般每条评论有1-1.5元报酬,若账号有一定粉丝量或者评论被认定为“优质”,还能获得额外酬劳。如果碰到“压热度”“删帖”等紧急情况时,价格更高。

  随着AI大模型发展引发关注,杨冰几次与“水军”的接触中都能感受到,“真人水军正渐渐向AI水军进化”。

  互联网安全服务公司极验公司是一家为NIKE、Airbnb等全球36万家网站和APP提供互联网安全服务的公司,主要提供行为验证、设备标识、一键认证等产品。该公司市场部负责人叶幸介绍,公司与黑产已有12年的对抗经验,一年为客户拦截“AI水军”攻击累计21.7亿次。

  他们了解到,AI水军借助人工智能技术,生成AI与自动化脚本,在互联网上批量生成内容、蓄意操控舆论走向。与传统真人水军相比,AI水军的危害性更大,因为AI水军的成本很低但效率高,不需要依赖真人,可全天候多任务操作。从传统人工接单下单操作交付,变为通过自动化工具实现批量化运营。在不同的社交媒体平台上播发,在短时间内形成数万条内容,形成压倒性言论走向。

  根据线索,记者顺藤摸瓜走进这条正在升级的“水军”产业链。相较过去,这条产业链进一步细分成了上、中、下游三层。

  “AI水军”产业链的上游是指围绕突破实名制、以底层技术开发实现改机和批量注册的囤号环节;中游是使用网络搭建和集控系统来养号、躲避运营商和平台对账号是否为正常用户的管控;下游则是通过买卖账号、引流、刷榜、带节奏等方式变现。

  AI在这条产业链中的作用是贯穿始终的——在上游可以辅助技术人员优化代码、技术,在中游可大批量生成不同需求的内容,在下游能为“水军”生成策划方案。

  因为有了AI大模型的强大能力,黑灰产人员才有了单人或者几个人就能组织一支AI水军的想象空间。

  国内通信运营商工作人员告诉记者,国内通信运营商推出了“一证五户、一证十号”的政策,即用户在单一运营商下办理手机号卡的数量最多不超过5张,在所有运营商下办理手机号卡的总数最多不超过10张。也就是说,即使叠加一些应用允许多账号注册的平台规则,单个用户的账号注册数量是有上限的。

  而黑灰产人员要组建有规模的“水军”军队,就先要突破“实名制”“一证五户、一证十号”等政策的限制,让自己的手头上有成百上千可以发声的账号。

  囤号是这条产业链里关键的一步。提供账号注册服务的卖家小黄告诉记者,囤号流程大致可以分为两种类型,一种是低价回收或租用手机,通过改机软件修改手机机型等参数来伪装设备。在他们的“工作室”里,一台台手机被平铺成一面墙的样子。此外,也可以部署管理大批量实体或虚拟电话卡的“池子”,在电脑上控制手机,通过接受验证码的“接码”环节实现批量注册。

  技术、设备、服务,囤号依流程上的不同节点被拆分成数个子项目,卖家会给这些项目披上诸如跨境电商创业、无人直播带货等新业态的外衣,让人乍看之下,不会觉得这类项目越过了法律底线,让他们得以在二手交易平台上被找到。而在相关商品详情页下方,有卖家以“sm(实名)”“接码”等圈内黑话留言,引导买家到微信、QQ等站外社交平台沟通交易,完成整套流程。

在频道中,黑灰产人员在叫卖。

  在小黄口中,没有经过实名制认证和使用过的账号称为白号。热门社交平台的白号价格为每个15-20元。经过实名认证的账号则是这个圈子里的奇货。因为不少平台设定用户必须完成实名制认证,才能够完整使用平台功能。

这些应用是水军们最主要的活跃区域。

  当记者提出想要已完成实名认证的账号时,小黄以不了解记者目的为由推脱。但在确认记者购买目的不是为了“诈骗”后,小黄又表示可以转卖“朋友”的账号。经过实名制认证的账号售价为每个140-160元,售后服务包括保证账号3日内不被平台封禁。

  记者了解到,“水军”为了实现“AI水军团”,常常铤而走险囤号、突破实名制。杨冰透露,过去,部分偏远地区的虚拟运营商对批量开卡审核宽松,业内曾有人使用营业执照甚至是伪造的营业执照批量申请企业号卡,绕过实名制审核。叶幸表示,他们在调查中发现,黑灰产会通过暗网、国外即时通讯软件电报等方式非法购买部分公民隐私信息,再借此批量注册,绕过“本人身份确认”。

算法流水线

  有了一定数量账号,黑灰产从事者就进入了中游养号的环节。简单来说,养号就是让一个账号看起来是像一个真人在使用。

  杨冰认为,在此环节,AI的“用处”很大。以往,养号费时费力,这也是市面上对“水军”的需求大于供应的原因之一。

  然而,在2019年春节后,供需关系似乎变化了。以往挑活干的“水军”组织主动找到杨冰,咨询有无下单意愿,并给出了约为过往1折的价格。

  AI从业人员揣摩,能和骨折价扯得上关系的只有一件事——2018年6月,GPT-1.0发布。通过阅读理解,“GPT”能生成具有逻辑性和连贯性的自然语言文本,并翻译成另外一种语言。

  AI在自然语言处理领域有了新进展。杨冰发现,原本需要几名兼职人员苦想许久的1000条评论或动态内容,AI只需要几分钟,就能高质量完成。

  AI还有了写代码的能力。一个具备基本编程能力的人可以让AI生成代码操控爬虫软件,在社交、电商平台等评论区内采集真实用户发布的动态、评论回复,直接使用或以此训练AI模型。叶幸介绍,在与黑产对抗的过程中,曾发现黑产定向抓取商品评价。以化妆品产品为例,“水军”选取点赞数量靠前的评论,提取出“冷白皮”“持妆不卡粉”“yyds!(永远的神)”等词,总结出“情绪词+场景描述+效果感叹”评论结构化模板,批量生成高质量评论和“种草文章”。

  叶幸感叹,原来雇人发100篇帖文的钱现在能生成10万条评论。

  记者尝试用当下热门的AI大模型,在提示词中规定评论结构,要求生成100条夸赞记者虚构出的一部电影的观后感和评论。10多秒后,这款大模型就提供了大量高质量评论。令人些许安慰的是,该AI大模型表示,“保护安全边界,此处仅展示部分示例,完整内容需脱敏处理后提供”,只显示出了10条评论内容。

  也有令人担忧的。当记者将AI生成的内容夹杂着真人写的内容一同展示给网友浏览时,部分人表示很难辨别。杨冰透露,如果使用一些开源的模型,并部署到本地,再在提示词上下点功夫,迷惑性就更强了。

  有了内容,就来到发布环节。

  小黄介绍,为了方便操控大量账号,产业链上有两种集控系统。一种是专门对抗网络IP地址监控的,它可以同时接入100-200台手机,通过动态IP设置功能,实现手机IP地址日内多次切换,让账号看起来像个经常出门的“活人”,配置这套系统的价格约为每百台手机3000元,系统月租费用约为60元。

  还有一种集控系统则是规模化地模拟真人使用账号的行为。根据卖家演示,只需要将已经AI生成好的内容、评论复制进系统,设定好真人用户集中浏览平台的时间,比如午休和下班后,再设定间歇性自动登录、浏览、点赞、评论等模拟真实用户行为的操作,就能够批量养号。过往10来个人的工作量,如今“一键完成”。

  在养号的过程中,还能靠这套系统来“刷粉丝”“刷单”。“越像真人,就越容易躲过平台监管。”小黄说。

  在“AI水军”产业链的最下游——变现层,“AI水军”根据雇主需求在短时间内完成发布各类内容或者点赞、评论的工作。“这些都是网络水军最直接的变现方式。”此外,引流、博眼球、造谣、“薅羊毛”、诈骗都属于“水军”们变现的渠道。

  据报道,2024年,南昌警方在查处的一起传播谣言虚构事实扰乱公共秩序案中发现,不法分子通过AI软件生成内容的方式,短时间内生成了大量文章,最高峰一天能生成4000篇至7000篇,初步估算每天的收入在1万元以上。

  叶幸告诉记者,以“水军”其中一个分支“刷量”为例,开发改机软件、AI话术生成器的利润率为60%,倒卖电话卡、账号和动态IP的利润率为35%,操控群控设备完成点赞、弹幕等任务的利润率约为15%。资金通过中介抽成、虚拟货币洗钱最终满足某些MCN机构造假需求,助推主播签约费暴涨6倍,而单工作室3个月即可实现250%左右的投资回报率。纵观整个黑产,年利润或超200亿元。

难以识别的“AI水军”

  为了治理这类黑灰产,相关部门、各大平台、企业可谓煞费苦心。

  2024年以来,网信部门持续加大对网络水军打击力度,严肃查处网络水军组织招募、推广引流、刷量控评等问题,协调关闭、下架网站平台400余家,清理违法违规信息482万条,处置账号和商家店铺239万个、群组5.2万个。

  2月18日,社交平台小红书通过其官方账号“薯管家”发布黑灰产团伙的典型行为,提醒用户提高辨别力。过去三个月,治理团队共处置黑灰产养号超过100万个。

小红书团队发布的治理情况。

  车企蔚来工作人员表示,企业曾见过疑似AI改写同一内容,相同配图大量水军账号分发,来抹黑企业的情况。今年2月8日,蔚来创始人李斌在直播间“策反水军”,表示将对主动提供线索的水军提供奖励。第二天,蔚来法务部发布的一则“悬赏公告”显示,蔚来将提供100万元悬赏,面向全社会征集黑公关线索。

  北京师范大学新闻传播学院、计算传播学研究中心教授许小可介绍,早期,对与真人水军、AI水军的识别相对简单。黑灰产人员常在一个隐蔽场所内工作,关联的IP地址等信息不会变化,而正常用户每天有各种活动,手机显示出不同的IP、地理位置等。一些监控软件、平台可以利用这个细节辨别并封禁存疑的账号。此外,传统网络水军需投入大量人力,只需要查看发帖用户包括年龄、性别、好友等各项属性,再看一下该用户的发帖内容优劣和话题的相关度,再辅以部分平台的验证机制,基本能够判定用户是正常用户的还是疑似水军。然而在当下,单靠这套识别方式很难再精准打击。“AI水军”可通过算法批量生成文案,还能模拟真实用户的行为。

  很多人感叹,如今已经越来越难识别同在一个场域的网友是真人还是AI。

  叶幸介绍,根据极验数据和多行业服务经验,电商、社交、金融三行业的AI水军渗透率可能在30%到40%。

  识别“AI水军”已是件难事,看穿他们“三人成虎”的套路更加困难。

  杨冰透露,如今水军作战更有战略了。生成评论时,会有意地让AI生成一定量的乱码和“绝了!”“666”等口水词,目的是自曝“AI水军”,等到一些普通用户轻易地识别出这些信息是“水军”手笔的同时,也会下意识地认为其他大部分的信息来自真实用户。

  杨冰回忆,在上海南汇女童走失案的评论区里,一个收获了很多回复和关注的内容是:“这个父亲面相不好。”在杨冰看来,这些评论带着明显的迷信色彩,却足以把人的理性思考带向另一条路。

  现下,我们能如何应对?

  叶幸指出,当下和黑产之间对抗,本质上都是成本博弈。需要不断让黑产的投入产出比失衡。采用的方法还是从技术、策略和资源消耗多维度入手,核心比如通过增加攻击难度、延长破解时间、消耗硬件资源。

  许小可介绍,应对AI水军也可以采取“蜜罐技术”“AI奶奶”等以技术对抗技术的策略。比如,可以使用或行为节律分析检测机器人账号。“蜜罐技术”就像在战场上给敌人设下的“诱饵陷阱”。作为防御方的平台会搭建一个“蜜罐服务器”,并故意把它放在显眼的位置。吸引“AI水军”猛攻“蜜罐”,殊不知一举一动都被监控。防御方通过分析这些攻击数据,不仅能提前修补漏洞,还能摸清套路,以此让网络空间更安全。而“AI奶奶”则是一款自带老奶奶声线的AI模型,“她”可以接听诈骗分子的电话,并长时间和他们聊天,以此占用他们资源,并获取诈骗的关键证据。

  此外,许小可建议推动立法强制标注AI生成内容,并强化账号实名制管理,也能够达到遏制“AI水军”的目的。

  加强AI治理,使其向上向善,一直是主管部门努力的方向。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》,自2025年9月1日起施行。《标识办法》明确人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式,并要求人工智能生成合成内容必须添加标识。

  国家互联网信息办公室有关负责人表示,《标识办法》旨在促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益。

  因为工作原因,杨冰很难说清“AI水军”的存在是否合理,她给自己划定的底线是不能涉及造谣、诈骗等违法行为。不过她也担心,有一天自己的声音会被算法边缘化。或许,新的标识办法能带来改变。

  (文中杨冰、小黄为化名)

展开阅读全文
#热点追踪#
修改
举报
郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
网友评论
1人评论
郑重声明:用户在社区发表的所有资料、言论等仅仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》
2025-03-15 13:48:16 来自 湖北
所有网络账户登陆,每次都必须实名认证。
置顶 删除 举报 评论 点赞
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500