• AI顶会,正在使用AI来审阅AI论文

    2021-04-02 17:34:46 | 热度:

  •  这样看起来似乎还更公平。

    编者按:本文来自微信公众号“机器之心”(ID:almosthuman2014),编辑:蛋酱、泽南;

    近年来我们在报道 AI 顶会的文章里不断听到「史上最大」、「论文数量新高」等字眼,论文的审核俨然成了一项挑战。但既然是在研究 AI,为什么不让机器来自动解决问题?

    人工智能顶会 NeurIPS 2019 的现场,曾被人吐槽像跨年夜的百货商场。

    对于大多数科学领域来说,期刊是同行评审和论文发表的主阵地,编辑们会根据专业判断将论文分配给合适的审稿人。但在计算机科学领域,寻找审稿人的过程通常是匆匆忙忙的:大多数论文是一次性提交给年度大会,组织者需要在仅仅一周的时间内将成千上万的论文分配给成千上万的审稿人。

    这样的节奏是非常紧张的,在过去的五年内,大型 AI 会议的投稿量增长了三倍不止,也给大会主办机构带来了不小的压力。举个例子,人工智能领域最大规模的定会 NeurIPS 2020 收到了 9000 多份有效投稿,比上一年增长了 40%。组织者不得不将 3 万多个审稿任务分派给约 7000 位审稿人。NeurIPS 2020 大会主席 Marc’Aurelio Ranzato 表示:「这非常累,压力很大。」

    大概也是「近水楼台先得月」,AI 顶会的审稿工作得到了 AI 的协助。首先,主办方使用了 Toronto Paper Matching System (TPMS),在此之前 TPMS 也被应用于其他多个会议的投递论文分配工作,它通过对比投稿论文和审稿人研究工作之间的文本,来计算投稿与审稿人专业知识之间的相关性。这个筛选过程是匹配系统中的一部分,期间审稿人也可以主动争取自己希望审阅的论文。

    TPMS 架构,该系统可通过会议管理系统在线使用。

    同时还有方法更加优化的 AI 软件:论文审阅平台 OpenReview 开发了一种「亲和力评测」系统,借助了神经网络「Spectre」来分析论文标题和摘要。OpenReview 和麻省大学阿默斯特分校的计算机科学家 Melisa Bok 和 Haw-Shiuan Chang 表示,包括 NeurIPS 在内的一些计算机科学大会将在今年把亲和力评测系统与 TPMS 结合使用。

    AI 会议的组织者希望通过提高匹配质量来推动同行评审和出版论文的质量。2014 年的一项研究表明这仍有进步空间,作为测试,当年 NeurIPS 中 10% 的投稿论文分别有两组审稿人审阅,在一组中被全部接收,另一组仅接收了 57%。影响到结果的因素可能有很多,但可以确定的是,对于具体某一篇论文来说,至少某一个小组是缺乏评估的专业知识的。

    【分享】

  • 联系方式

    中国 - 深圳

    深圳市前海深港合作区前湾一路1号A栋201室

    商务联系:Business@joway.com

    All Posts
    ×