Facebook AI是怎么将恶意发言者踢出群聊的？

From: Venture Beat; 编译：Iris

Facebook AI在2024年第一季度删除的仇恨言论内容占总删除言论数量的88.8%，高于上一季度的80.2%。Facebook执行官将这种增长归功于XLM等语言模型的改进。其中的仇恨meme数据集用于评估消除仇恨言论的模型的性能，并对多模态学习模型进行调试，它从多种媒体端输入，以辅助多模态推理。

不过，AI并不能解决所有问题。人类仍将在无限的未来中参与到言论管理体制中。本质上，它们都归咎于日常的沟通问题，单凭AI无法完全剔除掉不合适的言论，尤其是在这些言论都在底线上打擦边球的棘手情形中，AI的力量可能不及我们想象得强。但Facebook的部分成功标示着，我们可以用AI把这达到数十亿数据样本规模的难题缩减为一些易解决的小任务。

什么是meme？

——它是抽象的文化基因，类似于表情包段子，

将网络上流行的、有趣的笑点夹杂在一起，

通过拙劣模仿流行文化，加以牵强附会的幽默，

以图片/视频+文字的形式

将这种幽默感呈现出来。

比如风靡全球的doge图就是经典的meme例子：

给画面中的元素配上看似不相干的文字内容，

从而赋予其荒诞不经的新语境，

正是meme搞笑的精髓！

恶意meme被予以警告处理??

Facebook AI公布了从美国Facebook公共群组中收集的含有10,000个恶意表情包段子的数据集，他们将它起名为仇恨meme数据集”。这个数据集用于评估消除仇恨言论模型的性能，并对多模态学习模型进行微调。它能从多种形式媒体端输入，以衡量多模态推理成果。目前，最精确的AI驱动的多模态模型(Visual BERT COCO)的准确率达到了64.7%，而人力员工在数据集上的准确率达到了85%，这也反映了数据处理的难度。

数据集中最常见的不良文化基因(meme)以种族和性别为主。这类meme或引用负面的刻板印象，或使用嘲弄性的仇恨言论，给用户造成了不良观感。

Facebook AI的人工示例显示， "良性言论"和"良性图片"在发生交集后可能反而产生嘲弄性效果

Facebook多年来一直在开发SimSearchNet，它是一个卷积神经网络，用于识别重复的或者不可信的内容，在上个月就有5000万篇帖子因内容问题而被贴上警告标签。计算机视觉检测工具还被用于自动检测和过滤Facebook所不允许在其平台上发布的其他产品的广告。

多模态学习模型成为大热点

Google AI首席执行官Jeff Dean称，多模态模型的升级也是2024年的一种发展趋势。事实上，多模态学习已经被用来自动评论视频和识别标题图片，像MIT-IBM Watson实验室的多模态系统也在应用NLP和计算机视觉来提高AI系统视觉推理能力方面大显神通。

用来检测仇恨言论的AI Rosetta甚至能看懂表情包

为了克服处理meme数据库时可能碰上的授权问题，Getty Images API照片被用来替换背景图像并创建新的健康meme。人力检测员需要验证新的meme是否保留了原meme的含义，同时剔除掉了不良内容。

一些恶意的meme数据集还通过混淆恶性和良性内容来蒙混过关，这些meme的意义会根据meme文本背后不断更改的图片而发生变化，这意味着Facebook AI需要持续跟进每一个可疑meme的后续动态。

仇恨言论的蔓延涉及到敏感的社会问题，要完全解决它需要配以改进机器学习系统的能力。对meme仇恨言论的检测需要触及到任何微妙的数据线索，一些与特定文化相关的当地meme数据集需与世界共享。

正常的meme

不良meme

计算机视觉推理能力的上升可以帮助AI更准确地检测仇恨言论，并确认meme是否违反了Facebook的政策。即便是已被判定良好的多模态系统也可能包含有Facebook所禁止的恶意言论，到了这个阶段，AI的meme检测能力或许就比不上人力检测员的能力了，他们能联系上下文，甚至从一个简单的emoji或者缩写中推出写作者的深意。

快速检测仇恨言论也符合Facebook的经济利益。欧盟监管机构多年来一直敦促Facebook采取更严格的言论管理措施，德国议员便通过了一项法律，要求用户超过100万的社交媒体公司迅速删除仇恨言论，否则将面临最高5000万欧元的罚款。

各国政府已敦促Facebook调整内容，以解决恐怖主义宣传和干预选举等问题，尤其是在剑桥分析公司(Cambridge Analytica)丑闻引发强烈反弹之后，这个问题再次登上了舞台。Facebook及其首席执行官马克?扎克伯格承诺将进一步智能化言论管理体制，承诺给予用户一个更加清净的社交环境。

关于我门”

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金专注于投资通过技术创新激活商业场景，实现商业价值的初创企业，关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在近四年的时间里，将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我门”: bp@thejiangmen.com