IT之家 3 月 9 日消息，人工智能生成的科学及相关内容在社交媒体上的使用日益增多，这引发了重大担忧：这类文本可能包含虚假或极具说服力但用户难以察觉的信息，进而可能影响公众舆论与决策。

IT之家注意到，多个司法辖区与平台正推动更明确地披露人工智能生成或合成内容，以保护公众。然而，发表在《科学传播期刊》（JCOM）上的一项新研究警告称，这类标注可能产生与监管机构意图相反的效果 —— 降低真实科学信息的可信度，同时提升虚假信息的可信度。

人工智能生成内容具有误导性，至少源于两大原因：第一，语言模型可能出现“幻觉”，生成看似合理但与事实不符的表述；第二，用户可故意引导人工智能系统制造看似可信的虚假信息。为此，多个国家已出台透明度规定，要求对人工智能生成或合成的网络内容进行清晰标注。

在这项新研究中，来自北京中国社会科学院大学新闻传播学院的博士研究生林腾（Teng Lin，音译）、硕士研究生张逸青（Yiqing Zhang，音译），旨在检验这类披露标注是否真能实现其保护公众免受虚假信息侵害的既定目标。

“我们聚焦于社交媒体上传播的科学相关信息。”林腾解释道。

该实验研究于 2024 年 3 月至 5 月期间，通过 Credamo 平台在线招募了 433 名参与者。研究人员制作了四类社交媒体帖子：带 / 不带人工智能标注的真实信息，以及带 / 不带人工智能标注的虚假信息。

研究人员基于中国科学辟谣平台发布的内容，利用 GPT‑4 改编文本，生成了准确版和误导版的微博风格内容，并由研究者独立审核。

参与者需对每条帖子的可信度进行 1 至 5 分评分，研究人员同时测量了参与者对人工智能的负面态度及其对相关话题的关注程度。

研究结果呈现出一种反直觉的规律。“我们最重要的发现，是我们称之为‘真伪交叉效应’的现象。”林腾说，“同样的人工智能标注，会根据信息真伪产生截然相反的可信度影响：它会降低真实信息的可信度，却提升虚假信息的可信度。”

他补充道，这并不意味着该效应在所有平台或形式中都完全一致，但在其实验环境下，这一规律十分明显。

在这种情况下，人工智能内容披露并不能帮助人们区分信息真伪，反而以一种矛盾的方式重新分配了内容的可信度。

林腾与张逸青还发现，个体对人工智能的态度会产生影响。对人工智能持更负面看法的参与者，在看到标注为人工智能生成的真实信息时，会更强烈地降低对其信任度。

但即便在持负面态度的人群中，虚假信息获得的可信度提升也并未完全消失，只是部分减弱，且这种减弱与话题相关 —— 仅在某一类话题中有所弱化，并未整体消除。

这表明，所谓的“算法厌恶”并不会导致人们一概拒绝人工智能生成内容，而是引发更复杂、不对称的反应。

这类研究凸显出，在实施监管措施前必须进行严谨测试，因为初衷良好的透明度举措可能带来意想不到的后果。

“我们在论文中提出了若干建议，尽管这些建议仍需进一步研究验证。”林腾解释说。

“其中一项提议是采用双重标注方式。除简单标明内容由人工智能生成外，标注还可包含‘信息未经独立核实’的声明，或增加风险提示。简而言之，仅告知受众文本由人工智能生成，本身可能并不足够。另一项建议是采用分级或分类标注体系。”林腾补充道，“不同类型的科学信息风险等级不同。例如，医疗健康相关信息可能需要更强烈的提示，而新技术相关信息风险较低。因此我们建议，根据内容类型与风险等级，采用不同程度的披露标注。”