探花 porn 一周发明GAN！时候磨真金不怕火奖得主共享背后故事

发布日期：2024-12-14 06:04    点击次数：141

西风 发自 凹非寺量子位 | 公众号 QbitAI探花 porn

援用超85000次的经典论文GAN获NeurIPS2024时候磨真金不怕火奖后，它的发和顺背后故事也被抛了出来。

要从Yoshua Bengio施行室的一次头脑风暴提及。

Bengio召集施行室成员，建议了一个富余挑战性的设计：

教师一个信托性的生成收罗g，该收罗仅在输入z中包含立地噪声。这个收罗的输出x=g(z)应该是从某个散布p(x)中抽取的样本。输出不错是任何神气：图像、音频、文本。

方正世东谈主王人无眉目之时，一个在那时看似滑稽且简直不测旨的目的揭开了GAN的序幕：

如果能有另一个神经收罗充任判别器，会如何？

作家之一Sherjil Ozair，一边讲明着这段履历，一边还露出曾有DeepMind磋议员向他开打趣，说他可能依然完成了最伟大的使命，不错径直退休了。

但他觉得事实并非如斯。

CNN嗅觉像是终末的发明，但并不是。

GAN嗅觉像是终末的发明，但也不是。

LSTM、ResNet、DQN、AlphaGo、AlphaZero、MuZero都并非斥逐。

Transformer和大言语模子，亦不是终末的发明。

这项出自Yoshua Bengio、lan Goodfellow等一众大佬，援用衰败85000次，被NeurIPS2024官方评价为“生成建模的基础部分之一，在畴前10年中引发了许多磋议推崇”的磋议。

究竟是如何真金不怕火成的？

Sherjil Ozair讲明背后故事

以下是Sherjil Ozair的完满自述：

异常甘心听到GAN（）在2024年NeurIPS大会上得到时候磨真金不怕火奖。

NeurIPS时候磨真金不怕火奖是授予那些在十年时候里接受住考验的论文。

“我”花了一些时候总结GAN是如何产生的以及畴前十年中东谈主工智能的发展。

2012岁首，当“我”如故印度理工学院德里分校的本科生时，“我”有时发现了Geoffrey Hinton在Coursera上的一门深度学习课程。

深度学习那时是机器学习中一个边际化且小众的分支畛域，它承诺能已毕更多的“端到端”学习，况兼更接近东谈主类大脑的使命情势。

这门课异常精彩。它不仅很好地评释了深度学习的旨趣，还充满了Hinton私有的英式幽默和非传统想维。

比如，他建议“咱们”这样可视化高维空间：

要处理14维空间中的超平面，联想一个3维空间，然后高声对我方说“14”，每个东谈主都是这样作念。但请记着，从13维到14维的转变，其增多的复杂性与从2维到3维的转变雷同大。

出于酷爱得意地想学习更多常识，“我”启动仔细磋议所有这个词能找到的贵府。

性爱图

那时主如若一些了得磋议者发表的学术论文，比如Yoshua Bengio，其中好多都保存在他施行室的网站上。

2012年，Quora异常火爆，Yoshua通常在Quora上回答关联深度学习的问题。

“我”真挚地感谢他匡助像“我”这样的本科生清楚深度学习。“我”通过Quora经营他，抒发戴德。

令“我”异常惊喜的是，“我”不仅收到了恢复，还收到了一份他施行室的实习邀请。

这是一次运谈的重逢探花 porn，而那时的“我”对此次洽商和行将伸开的旅程的蹙迫性和影响力还惟有小数点暗昧的意志。

“我”丹心性感激Yoshua Bengio为这个寰球和为“我”所作念的一切。

“我”通过了口试得到了实习契机，2014年夏天，将在Yoshua的LISA施行室实习。

本想2013年就实习的，但印度理工学院的轨制条件知生必须在第三学年的暑假在他们招供的公司实习。

2014年5月，“我”飞抵蒙特利尔，来到了施行室。

刚见到Yoshua，他就立马把“我”拉进了一个房间，内部坐着的还有Ian Goodfellow和Aaron Courville。

Yoshua不竭评释着他最近一直在想考的一个新目的：

设计构建一个信托性的生成收罗g，只在输入z中包含立地噪声。这个收罗的输出x=g(z)应该是来自某个散布p(x)的样本，不错是任何神气：图像、音频或文本。

他强调这即是“咱们”需要教师的指标。

但若何教师呢？在这种“隐式”收罗中，概率p(x)并莫得明确抒发。

他建议应该对生成器的输出（生身散布）和某个样本数据集（不错是图像、音频等）进行“双样本散布疋配”。

但如何进行这种散布疋配仍然不解确。

算作一个年青活泼的本科生，“我”建议了矩匹配，但“咱们”都知谈矩匹配可能无法移交高维数据。小组里也磋议了其他目的，也都嗅觉不够有劝服力。

不外，Yoshua对教师一个信托性的、破钞噪声并产生样本的生成神经收罗的愿景和关心令东谈主印象深化且富余启发性。

团队决定暗里不竭想考这个问题。

在Les Trois Brasseurs餐厅的一次施行室聚餐中，Ian Goodfellow瞬息意料了一个在那时看似滑稽且简直绝不测旨的见识：

如果让另一个神经收罗来充任判别器会如何？

这是一个征战前沿的时候。

那时，神经收罗的教师还终点“原始”。无为作念法是：

成立一个主神经收罗，输入数据，得到一个展望扫尾，对其垄断一个数学耗损函数，然后使用梯度下落来优化这个收罗。

而Ian的想规则把耗损函数自己设计成一个可学习的神经收罗。不是优化一个固定的数学耗损，而是用另一个“判别器”神经收罗来提供耗损值和梯度，用于教师“生成器”神经收罗。

这个目的天然招致质疑。通盘系统会不会崩溃到退化输出？判别器从何而来？处处都是先有鸡如故先有蛋的窘境。

但Ian对此也早有腹案。他建议让判别器和生成器在一个零和博弈中抵抗：

生成器试图产生与确凿数据“难以分辨”的输出，而判别器则要设法分辨看到的是生成样本如故确凿样本。

也许这能行？第二天，施行室所有这个词成员都收到了一封邮件。

在一个充斥着编程和运行施行的永夜，Ian告成让第一个生成抵抗收罗运行起来。

这些是在MNIST数据集上产生的第一批样本。

那时“我”正在磋议访佛的东西，用非神经收罗判别器进行教师，但成果远不足预期。

于是“我”决定转而匡助Ian磋议GAN。距离NeurIPS 2014的提交限制日历惟有一周了。“咱们”决定任重道远，应该能赶上提交一篇论文。

在接下来的几天里，“咱们”树立了评估要害来与现存的生成模子进行比拟，尝试了不同的架构、噪声函数和博弈公式。

Jean、Yoshua和“我”发现GAN博弈是经管的，况兼在均衡景象下最小化了Jensen-Shannon散度。

“咱们”坚合手了下来，在终末一周完成了所有这个词使命，并提交了一篇论文到NeurIPS。

GAN被吸收为海报展示论文（posted presentation）。

“我”记恰天然群众都很得意，但也都知谈GAN的教师动态异常不褂讪。大部分合营者启动磋议其它模子架构，试图处分在GAN中发现的问题。

GAN在12月份进行了展示，却基本上莫得引起堤防。

几个月后，2015年8月，Alec Radford启动发布他一直在磋议的卷积GAN的样本。

没错，即是阿谁简直参与了OpenAI所有这个词首要温情的Alec Radford。2015年，他正在磋议、批量归一化和GAN。

“我”无法完满展现DCGAN之后GAN引发的广阔关注。

但“我”想强调的是，GAN的演进流程被悲不自胜地用来标记AI举座的越过。

这张展示图像生成惊东谈主发展的图片依然落伍了，因为当今的图像生成模子依然能生成百万像素级的图像，致使不错生成视频。

至于“我”个东谈主的故事，GAN算作“我”的第一篇学术论文既是福亦然祸。一位DeepMind的磋议员曾开打趣说，“我”可能依然不错退休了，因为“我”可能依然完成了我方最伟大的使命。

然而“觉得历史依然斥逐”可能是AI畛域最大的演叨。“咱们“老是倾向于觉得“即是这个了，这是终末的发明”。但事实从来都不是这样。

CNN也曾嗅觉像是终末的发明，但并不是。

GAN也曾嗅觉像是终末的发明，但并不是。

LSTM也曾嗅觉像是终末的发明，但并不是。

ResNets、DQN、AlphaGo、AlphaZero、MuZero都不是终末的谜底。

回偏激来看，这些目的老是显得很滑稽。然而想想当今，Transformer和大言语模子被觉得是终末的发明。

但它们也不是。

“我”最近离开了前沿AI施行室的圈子，启动创办一家公司来构建一些确凿令东谈主赞誉的东西。“我”很快会共享更多关联信息。敬请关注。

感谢NeurIPS Conference授予GAN时候磨真金不怕火奖，也感谢这些抵抗者们：Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Aaron Courville、Yoshua Bengio

也为Seq2Seq论文作家们示意道喜。

Ian Goodfellow开麦

Mehdi Mirza将这段履历共享出来后诱导到不少网友围不雅，网友们看得饶有兴致：

没意料论文一周就写出来了。

好一段精彩的历史总结！在”Attention is all you need”之前，GAN才是主流。

GAN论文一作Ian Goodfellow也情谊开麦：

如果你是阿谁时间的亲历者，值得一读以怀旧；如果你不是，也能通过这些笔墨一窥当年的情形。

对于GAN论文的更多细节，不错点击这里稽查：史无先例！Seq2Seq和GAN同获NeurIPS时候磨真金不怕火奖，Ilya连气儿2年获奖。

参考衔接：https://x.com/sherjilozair/status/1864013580624113817