Kaggle宗师在 AI 大赛中作弊被开除,科技请善用
作者 | 钰莹
又是一年除夕,然而今年全国人民的注意力全部集中在新型肺炎上,每一个地区的每一条确诊消息都牵动着我们的神经,我们希望所有人都可以安然渡过难关,我们也希望科技在医疗、救助等各领域有更大助力。科技本想善,奈何人心难测。近日,谷歌资助的一项比赛旨在开发机器学习软件,以帮助被遗弃的动物找到有爱心的人家,不料爆出了获胜团队作弊的丑闻。
事件起因
PetFinder.my 是一家非营利性组织,平时会列出一些狗、猫及其他小动物的资料,供人们领养。最近,这家公司举办了一场比赛,设立了 25000 美元(约合 19000 英镑)的奖金池,要求开发者基于 Kaggle 开发算法以预测宠物的可领养性,效果最好的算法将被编入 AI 工具中,指导全球各地的收容所和救援人员改善宠物资料的吸引力,减少动物遭受的苦难和安乐死。
为了这次比赛,主办方设立了 25000 美元(约合 19000 英镑)的奖金池。最后,2000 多支团队报名,提交了 3000 多件作品,主办方对参赛团队提交的代码进行了审查,使用第二份数据集进行测试,这里面的数据是此前未曾公开的。
最后,一个名为 Bestpetting 的团队获得第一名,该团队由 Pavel Pleskov 领导,他是大名鼎鼎的 Kaggler,在所有 Kaggle 比赛的积分榜上排第三位,并拥有宗师(Grandmaster)头衔。
事已至此,本该皆大欢喜,直到一名少年为 PetFinder.my 将 Bestpetting 的代码部署到生产环境中,他发现了这段代码的秘密
作假败漏:系统偷看答案
奥地利的 19 岁少年 Benjamin Minixhofer 获得了本次比赛的第六名,他答应 PetFinder.my 的创始人兼首席执行官 Andy Koh,可与几个顶尖团队合作,结合他们的技术,开发一套基于机器学习的总体系统。
在部署过程中,他发现了 Bestpetting 团队的秘密,这支团队从 PetFinder.my 获取了成千上万份宠物资料,包含每只动物从进来到被领养的具体信息。在比赛中,如果他们的机器学习系统意识到测试资料与某一份获取到的资料相匹配,软件会使用该动物找到主人实际所花的时间,而不是预测时间。简单的说,这根本不是预测,就是事实。
完整解析参照:https://www.kaggle.com/bminixhofer/how-bestpetting-cheated
为了怕作弊事件败漏,这个团队让系统只在百分之十的概率内偷看答案,以免被怀疑,但这还是大大提高了测试分数。
这不是 Pleskov 头一回采用这种花招了。
一年多前,在一项发现并标记知名问答网站 Quora 上发布的虚假问题的 Kaggle 竞赛中,Pleskov 描述了他及其团队如何取得高分。他厚颜无耻地吹嘘:“解决方案很简单:我们就是获取答案。”
Minixhofer 通知了 Koh,Koh 随后联系 Kaggle 报告了这起欺诈。此后,Kaggle 删除了 Pleskov 的帐户,并以违反使用条款为由禁止他使用该平台。
随后,Pleskov 被硅谷软件公司 H2O.ai 解雇,丢掉了饭碗,他在该公司做了大约四个月的数据科学家。PetFinder.my 方面称:Bestpetting 团队已经道歉,主动表示退还奖金。
科技向善,人至关重要
这本是一件利用科技帮助动物救助的善举,却因为这件丑闻而显得不那么完满。如今,技术进步了,却有人第一时间想到做坏事。比如,最近几年,AI 领域取得了不少进步,有些公司的创业方向是智能语音电话,用来外呼骚扰用户,每天收到各种莫名其妙推销电话的用户不胜其烦。再比如,有创业团队把自己的技术用于发垃圾邮件,发 iMessage 信息骚扰用户。当用户质疑的时候,他们还会一脸委屈的辩解。
我们鼓励科技进步,鼓励技术创新,并希望这些技术最终可以真正作用在民生、医疗、教育等领域,帮助我们更好地预测疾病、更好地检测疾病、更好地弥补优秀医师资源的不足、更好地弥补教育资源的不均衡。
最后,我们衷心希望疾病早日过去,祝大家除夕快乐!
福利推荐
自从阿里达摩院发布2020十大科技趋势之后,人工智能再次被推到了关注高峰。2020将会是人工智能爆发式增长的一年,其中智能金融、NLP、知识图谱作为人工智能最炙手可热的三大领域在2020年将会有怎样的突破呢?2020又会有哪些新技术火热崛起呢?一线大厂都做了哪些实践?
以上的一切,AICon2020上海都会给你答案!除此之外,更有另外10+人工智能热门领域实践经验分享等你来听!有问题可以随时咨询我们票务小姐姐18514549229(同微信),点击阅读原文了解更多~
今日荐文点击下方图片即可阅读
“今年过年不回家了”,互联网人的春节故事丨二叉树视频
你也「在看」吗???
阅读原文
网站开发网络凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线:13245491521 13245491521 ,我们会详细为你一一解答你心中的疑难。 项目经理在线