建站
咨詢
售后
建站咨詢
新聞中心
俗話說，有人的地方就有江湖，就會(huì)充斥著各種立場(chǎng)和利益糾紛?？蒲蓄I(lǐng)域亦如此，機(jī)器學(xué)習(xí)社區(qū)近來(lái)掀起來(lái)的一系列關(guān)于種族偏見的熱議就是鮮活的例證。我們先回顧一下這件事情的來(lái)龍去脈：
大約一周前，杜克大學(xué)提出了一種將高糊人臉照片轉(zhuǎn)換成清晰面部圖像的 PULSE 方法，但意外的是，研究中的一張生成圖像掀起了眾議，人們紛紛指責(zé)該方法存在種族偏見。
輸出后的奧巴馬變成了「白人小伙」。
之后，圖靈獎(jiǎng)得主、Facebook 首席 AI 科學(xué)家 Yann Lecun 也因自己對(duì)此事的評(píng)價(jià)而遭到網(wǎng)友的口誅筆伐，最后不得不宣布退出推特。
那么問題來(lái)了，此次事件是否反映了機(jī)器學(xué)習(xí)社區(qū)對(duì)技術(shù)或數(shù)據(jù)持有明顯的偏向性態(tài)度呢?除此之外，機(jī)器學(xué)習(xí)社區(qū)還存在著哪些痼疾以及新出現(xiàn)的壞現(xiàn)象呢?
今日，reddit 用戶 yusuf-bengio 發(fā)帖總結(jié)了當(dāng)前機(jī)器學(xué)習(xí)社區(qū)存在的 8 大「毒瘤」，內(nèi)容涉及同行評(píng)審、盲目學(xué)術(shù)崇拜、 多樣性、過度重視頂會(huì)論文發(fā)表以及學(xué)術(shù)攻訐等，引發(fā)了網(wǎng)友的熱議。
我們先來(lái)看下這些問題的具體內(nèi)容。
ML 社區(qū)的 8 大「毒瘤」
首先，同行評(píng)審的規(guī)則被打破。有四分之一的 NeurIPS 提交論文都被放到了 arXiv 上。DeepMind 的研究者公開質(zhì)疑批評(píng)他們提交論文至 ICLR 的審稿人。最重要的是，盡管審稿人認(rèn)為應(yīng)該拒收論文，放在 arXiv 上的知名機(jī)構(gòu)提交的論文還是被頂會(huì)接收了。相較之下，AC 卻否決了一些評(píng)分很高的論文。
第二點(diǎn)，存在復(fù)現(xiàn)危機(jī)。在測(cè)試集上調(diào)整超參數(shù)似乎是目前的實(shí)踐標(biāo)準(zhǔn)了。沒有打破當(dāng)前 SOTA 紀(jì)錄的論文沒有機(jī)會(huì)被較好的學(xué)術(shù)會(huì)議接收。因此很多研究只是對(duì)超參數(shù)進(jìn)行調(diào)整以及提出一些細(xì)微的技巧，使其看起來(lái)存在性能增益，但實(shí)際上并沒有。
第三點(diǎn)，存在盲目的學(xué)術(shù)崇拜。與斯坦福、DeepMind 這些頂級(jí)機(jī)構(gòu)有關(guān)的論文都會(huì)得到高度贊譽(yù)，即使并沒有什么重大突破。比如，BERT 被引用的次數(shù)是 ULMfit 的 7 倍。谷歌的從屬關(guān)系為論文提供了如此多的信譽(yù)和曝光度。每次 ICML 會(huì)議，無(wú)論研究?jī)?nèi)容是什么，DeepMind 的 poster 都會(huì)吸引很多人。同樣的事情還發(fā)生在 ICLR 2020 在 Zoom 上舉辦的虛擬會(huì)議上。
此外，即使都是機(jī)器學(xué)習(xí)頂會(huì)，但 NeurIPS 2020 的論文提交量卻是 ICML 的兩倍。為什么會(huì)如此?為什么 “neural” 這個(gè)詞如此受歡迎?還有，Bengio、Hinton 和 LeCun 確實(shí)是深度學(xué)習(xí)的先驅(qū)，但是稱呼他們?yōu)?AI“教父”就太瘋狂了。這實(shí)在是種過度崇拜。
第四點(diǎn)，雖然 Yann LeCun 談?wù)撈姾凸叫缘姆绞斤@得有點(diǎn)事不關(guān)己，但他遭受的口誅筆伐也超出了合理的范疇。讓 LeCun 或者其他人閉嘴解決不了任何問題。
第五點(diǎn)，機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)社區(qū)普遍存在著嚴(yán)重的「多樣性」問題，其中最明顯的就是教授和學(xué)生中的男女比例問題。女性在博士或博士后期間休育嬰假常常意味著其學(xué)術(shù)生涯的結(jié)束。并且，這種「多樣性」的缺乏又經(jīng)常被濫用，成為某些人免受任何批評(píng)的借口。將學(xué)術(shù)探討中的每個(gè)負(fù)面評(píng)論歸咎于種族和性別會(huì)營(yíng)造不良的學(xué)術(shù)氛圍。人們?cè)絹?lái)越害怕被他人看作「種族主義者」或「性別歧視者」，這反過來(lái)又加劇了這種「多樣性」問題。
第六點(diǎn)，為其他人隨意扣上道德倫理喪失的帽子。近期以來(lái)，美國(guó)國(guó)內(nèi)的政治和種族抗議活動(dòng)主導(dǎo)了一切學(xué)術(shù)討論。
第七點(diǎn)，社區(qū)存在著一種殘酷的「不發(fā)表，就發(fā)臭」的心態(tài)。如果你每年不能發(fā)表 NeurIPS 或 ICML 等學(xué)術(shù)會(huì)議論文，就會(huì)被稱為「失敗者」。此外，研究團(tuán)隊(duì)的規(guī)模變得越來(lái)越大，有時(shí) PI 甚至叫不全手底下博士生的名字。有的研究者癡迷于投頂會(huì)論文，每年甚至提交數(shù)十篇論文。這太可怕了。寫論文的唯一目標(biāo)變成了在簡(jiǎn)歷上添加一筆頂會(huì)接收論文的經(jīng)歷，所有的一切都變得很功利。在提交論文時(shí)，質(zhì)量是次要的，想法設(shè)法通過同行評(píng)審成為了主要目的。
第八點(diǎn)，學(xué)術(shù)探討變得粗暴無(wú)禮。舉例來(lái)說，Schmidhuber 稱 Hinton 為「小偷」，Gebru 稱 LeCun 為「白人至上主義者」，Anandkumar 稱 Marcus 為「性別歧視者」。大佬之間尚且相互攻訐，這終歸不利于構(gòu)建健康和諧的機(jī)器學(xué)習(xí)環(huán)境。
所以，我們是否可以停止妖魔化持有不同觀點(diǎn)的人，允許不同觀點(diǎn)的存在，不要吹毛求疵。如果我們僅僅因?yàn)橛^點(diǎn)不同而強(qiáng)迫他們閉嘴，那恐怕也宣告了科學(xué)和社會(huì)進(jìn)步的終結(jié)吧!
不止 ML 社區(qū)，其他領(lǐng)域亦是如此
上文提到的這些「毒瘤」的確存在，也不可避免地對(duì)機(jī)器學(xué)習(xí)社區(qū)的學(xué)術(shù)氛圍產(chǎn)生了負(fù)面的影響。網(wǎng)友對(duì)這些問題持什么態(tài)度呢?點(diǎn)贊最多的便是第三點(diǎn)的學(xué)術(shù)盲目崇拜現(xiàn)象。
網(wǎng)友表示，一些不知名學(xué)者的有趣研究雖能引起注意，但評(píng)論的人卻少之又少;與之相比，機(jī)器學(xué)習(xí)名人的一篇推特卻能有數(shù)百條評(píng)論。這種現(xiàn)象恐怕不利于新研究或技術(shù)的推廣和持續(xù)發(fā)展。
還有網(wǎng)友提到了其他社區(qū)，如物理社區(qū)，稱這類社區(qū)或許不像機(jī)器學(xué)習(xí)社區(qū)那樣充斥著攻訐和分裂。他表示，機(jī)器學(xué)習(xí)固然存在著廣泛的社會(huì)影響，但人們將他們的政治理念強(qiáng)加在自身的研究上是多么的荒謬。
但這位網(wǎng)友的觀點(diǎn)遭到了其他人的反駁，表示物理、數(shù)學(xué)、邏輯和哲學(xué)等其他領(lǐng)域恐怕亦是如此。
對(duì)此，你有什么看法?
當(dāng)前題目：ML社區(qū)八大「毒瘤」：盲目崇拜、相互攻訐、重SOTA輕實(shí)效……
當(dāng)前鏈接：http://m.5511xx.com/article/dpejsjp.html
