跳至主要内容

旧闻综合:Jigsaw 推出 AI 工具探测网络上的恶意评论

在网络上发表评论,我觉得是一种非常重要的交流观点的途径。但是,讨论你所关心的问题有时候并不那么容易[1]。线上的谩骂和骚扰,可能使很多人不去表达他们的看法,同时放弃的,还有他们去了解不同观点的机会。

1. Jigsaw 发布 Perspective API 检测评论的”毒性“。

Google 姊妹公司 Jigsaw 推出了 Perspective[2],一个使用机器学习抗击线上骚扰的项目。首先发布的 Perspective API 用于识别评论中的“毒性”成分,即自动检测侮辱、骚扰和辱骂的言论。“毒”的定义是那些很可能让人退出讨论的粗鲁、不尊重或无理的评论[3]。评价一则评论“有毒”的程度从“非常有毒”到“非常健康”。

Perspective 项目是 Jigsaw 团队所致力于的 Conversation AI(对话 AI)行动的一部分。Conversation AI 一直是开源项目,Perspective API 则让开发者能够接入这个运行在 Google 服务器上由机器学习训练的毒性言论检测工具,来识别和过滤无论是社交网络还是新闻网站评论中的骚扰、辱骂言论。

Jigsaw 和几个合作伙伴正在测试这个工具。维基百科使用它来对其编辑讨论页进行研究。《卫报》和《经济学人》在测试其改进评论区的能力。《纽约时报》计划使用它来对辱骂评论进行初步标记。6 月,Recode 报道称[4],《纽约时报》借助 Jigsaw 的 Perspective 项目所开发的软件,年底将扩充可用在线评论的数量,从文章的 10% 提升至 80%。增加更多评论,而不需要增加人手来管理。

2. Perspective API 的准确性存在问题。

Perspective API 在识别“毒性”评论方面,效果并不好,研究者发现[3,5]。工具不能识别一些仇恨言论,却把一些无害的词语组合判定为有毒[5]。jigsaw 团队注意到这个问题,强调软件还处于初期测试阶段,还不适合于大规模部署。Jigsaw 有两个办法:向服务提供评论毒性的评级;反馈评级错误的信息。随着数据的积累和时间的推移,Perspective API 有可能能够理解更多形式的仇恨言论和毒性评论。

3. 对 Jigsaw 此项目的批评和回应。

批评者认为这是一种审查。使用自动识别系统来删除评论,有可能造成误报,而自由谈论和谩骂之间还存在灰色区域。

Jigsaw 表示,此工具不是决定某则评论是否能够发表的最终裁判。尽管如此,非营利组织“民主与技术中心”(Center for Democracy and Technology)表达自由项目(Free Expression Project)的主管 Emma Llansó 认为,缺少人手的社交网络公司或新闻机构,依然倾向于使用这个工具。“自动检测工具开启了全部删除的可能,而不是花费人力和资源来进行识别、判断。”

Jigsaw 创始人和主席 Jared Cohen 回应称,很多媒体网站实际上已经有一个黑名单来剔除令人反感的话,或者关闭评论。“现在默认的态度就是执行审查制度。”Jigsaw 所推出的工具,是以一种新的(可能也是更好的)方式来处理冒犯性内容,这可能会使交流沟通变得容易一些。

Perspective API 不只是给媒体管理员,还给读者提供一个工具,来展示不同话题(气候变化、英国脱欧、美国大选)下各种评论的“毒性”程度[1]。

Cohen 希望这个工具能够应用于其他语言,比方说俄语,以打击国家支持的辱骂 Trolling 这种审查策略。“对于网络评论的毒性问题,Jigsaw 并没有发明万能药。这是一个里程碑,而不是解决方案。”如今,网络对话是如此的“有毒”,以至于我们总是和自己赞同的人进行交流。Jigsaw 开发的这个技术,希望能够帮助人们去与那些他们在观点上不同意的人进行对话,或者倾听不同意见的声音。

4. 观点:一味地注重交流方式的礼貌得体,可能妨害言论自由。

VICE 的一篇文章[3]指出,Perspective 的“失误”是算法问题。算法以数据为建立模型的基础。AI 反映的是其创作者的价值,因此会带有歧视和偏见,就像那个编写程序和训练它的人一样。

作者认为,言论自由就是要无所顾忌地去发表看法。而现在的美国社会,从硅谷到华盛顿,弥漫着一种氛围,即:文明被作为对话的模式,有利于那些不表达自己感情的人,而惩罚那些努力表达自己的人。文明,披着反对歧视和仇恨言论的外衣,成为一种语调控制器,把对不公正的关注从真正的焦点转移到词汇、言语上面。作者主张,不应该使用 Jigsaw 的这类工具来使不那么礼貌得体的言论被剔除。

VICE 此文的标题可翻译为:Google 的反霸凌 AI 错把文明当体面。(Google's Anti-Bullying AI Mistakes Civility for Decency)

5. 参考:中文媒体的 3 则报道

FT 中文网:谷歌推出人工智能工具筛查恶意言论。
http://www.ftchinese.com/story/001071516

雷锋网:喷子注意了,Google 要用机器学习检测恶意评论。
https://www.leiphone.com/news/201702/uUVCEdq5W7X0XHmH.html

至顶网:谷歌 Perspective 利用人工智能向互联网恶棍开战。
http://soft.zhiding.cn/software_zone/2017/0224/3089915.shtml

1~4 部分的参考链接(以“我”字开头语句的是个人看法):

1. http://perspectiveapi.com/
2. https://www.wired.com/2017/02/googles-troll-fighting-ai-now-belongs-world/
3. https://motherboard.vice.com/en_us/article/qvvv3p/googles-anti-bullying-ai-mistakes-civility-for-decency
4. https://www.recode.net/2017/6/13/15789178/new-york-times-expanding-comments-artificial-intelligence-google
5. https://qz.com/918640/alphabets-hate-fighting-ai-doesnt-understand-hate-yet/

评论

此博客中的热门博文

Gboard 继续增加关键功能

在 Android 上,Google 拼音是一款简洁、高效的中文输入法,再加上 Google 手写输入,Google 给 Android 用户提供了一整套中文输入工具。 Google 拼音的 Windows 版本早已不再更新,用户无法同步自己的输入习惯,其 下载页面现在也无法找到了 。不过在我看来,Google 拼音仍然是 Windows 上少有的简单、可靠、美观、低调的中文输入法。这款软件即使不再更新,功能也不健全,但仍然特别好用。 在移动设备上,Google 在 Google 拼音等输入法之后又推出 Gborad,把移动设备上的输入体验提升到另外一个层次。 最近我注意到 Gboard Beta 版本增加了“剪贴板”功能。这个功能之前已有报道,现在终于可用,是一个重要的、有用的输入辅助工具。简单说就是,用户可以把自己复制的内容存放到剪贴板,如果有多次复制,剪贴板会记忆用户复制过的内容,方便用户随时选取使用。用户还可以固定某些复制的内容,使它们更为突出地显示在剪贴板里。 这显然是一个很有用的工具,如果用户经常在手机或平板上处理文字内容的话。否则,用户就必须把自己可能需要使用的复制的内容存在其他文档或者应用比如 Google Keep 里,然后一遍一遍地去复制、粘贴。这个功能使这些操作在 Gboard 应用里就可以实现。 Gboard 还改变了右下侧“确定”按钮的形状和功能。形状从圆形变成矩形。功能上,长按会出现单手操作和 Emoji(表情符号)按钮,如下图所示。这与左下角的 Emoji / 单手操作 / 设置综合按钮类似。 我认为唯一不足的地方是,Gboard(Android)中文输入法一直没有书名号(《》)按钮,只能以书名号的另外一种形式(『』)代替。 Gboard 重新设计了 Emoji 的布局,现在变成菜单在顶部,下滑式查看、选择表情符号的设计。以前是左右滑动。在贴纸、动态图(GIFs)搜索方面没有变化。 综合来看,Gboard 现在内置了包括 Google 搜索在内的 9 个关键功能,其中搜索、翻译等相关功能需要联入互联网,文本处理操作(移动光标、选取、复制、粘贴等)、剪贴板两个功能可以离线使用。主题、悬浮键盘则属于个性化键盘设置。 上述这些变化包括其他一些变化在 9To5Google 的一则报道 中有...

YouTube Music 增加播放本地音频的功能

YouTube Music 应用新增了 播放本地音频文件 的功能。如上图所示,打开 YouTube Music 后在“Library”(库)一栏可以找到单独的一个列表,显示出设备上可播放的文件。 我通过 Google Podcasts 下载的若干节目音频通过 YouTube Music 可以播放收听,而且能够背景播放。免费版 YouTube Music 流媒体播放音乐时,是不支持背景播放功能的。 注意,如果用户所处的国家或地区不支持 YouTube Music 服务,那么这个播放本地音频文件的功能就不可用,因为 YouTube Music 界面都不会正常显示。可是,当用户处于离线状态时,YouTube Music 却可以播放这些音频。令我感到奇怪的是,我下载的一些播客可以播放,新近下载的一些又不能播放,不知道具体机制是什么。 9To5Google 网站 认为这是 YouTube Music 取代 Google Play Music 作为 Android 默认音频播放器的重要一步。

Google Chrome 增加 DuckDuckGo 搜索

Google Chrome 浏览器增加了 DuckDuckGo(DDG)搜索引擎选项,据 TIME 报道。DuckDuckGo 是一款注重隐私的搜索引擎,它不记录用户的搜索历史,加密用户的搜索,不允许广告商追踪用户的浏览习惯。 Chrome 在全球 60 多个市场添加了 DDG 这个选项 ,给用户更多选择。法国用户还可以选择法国的搜索引擎 Qwant 作为自己的默认搜索。之前,用户需要安装 DDG 的 Chrome 扩展以切换到自己喜欢的搜索服务里。 DDG 创始人赞赏 Google 意识到给用户提供能够保护隐私的搜索服务这一选项的重要性。 DDG 的名称较长,用户记起来比较不容易。去年年底, Google 将自己所拥有的网址 Duck.com 移交给 DDG 。不清楚 DDG 是否因获得此域名而有掏钱给 Google。以前,用户输入 Duck.com 会被导向 Google 网站。Google 获得 Duck.com 域名是因为收购了视频技术公司 On2。Google 还拥有大量域名,包括对 Google 这个词拼写错误的很多情况。 Chrome 增加 DDG 搜索在当前显得尤为必要,因为不少用户希望使用更能保护自己隐私和数据安全的服务。Chrome 一直以来都默认提供若干搜索引擎供用户选择,在中国大陆有360、百度、搜狗、Bing。 DDG 的创始人 在 Quora 有文章 阐述 DDG 与 Google 搜索的不同及其优势所在。