机器之心报说念邓紫棋 ai换脸
机器之心剪辑部
刚刚，NeurIPS 官方公布了 2024 年度的时分考试奖，破天荒的颁给了两篇论文。
一篇是 Ian Goodfellow 的（GAN），一篇是 Ilya Sutskever 的 Seq2Seq。
但 10 年前的这两篇论文赢得时分考试奖，也不错说是实至名归。
「本年，咱们破例颁发了两篇时分考试论文奖，因为这两篇论文对整个领域的影响不消置疑。」
Jeff Dean 也发来道喜：
论文 1：Generative Adversarial Nets
赢得 NeurIPS 时分考试奖的其中一篇论文是《Generative Adversarial Nets》，作家声威相配豪华，AI 圈着名大佬 Ian J. Goodfellow 、 Yoshua Bengio 等王人在内。
Ian Goodfellow 本科与硕士就读于斯坦福大学，师从吴恩达，博士阶段则随从 Yoshua Bengio 商量机器学习。他最引东说念主正经的成即是在 2014 年 6 月提议了生成造反收集（GAN）。
GAN 在图像生成领域取得了首要抨击，不错抨击性地生成动物、状态以及东说念主脸等高度传神的合成图像。这一倡导生息出稠密变体邓紫棋 ai换脸，成为机器学习界最火热的操办话题，与 GAN 探讨的论文贬抑清楚。
Ian Goodfellow 的资历波及 OpenAI、谷歌、苹果等多家科技公司。在最近一次 2022 年离开苹果后，他回到了 Google DeepMind 担任商量科学家。
论文地址：https://arxiv.org/pdf/1406.2661作家：Ian Goodfellow， Jean Pouget-Abadie， Mehdi Mirza， Bing Xu， David Warde-Farley， Sherjil Ozair， Aaron Courville， Yoshua Bengio机构：蒙特利尔大学
截止 NeurIPS 揭晓奖项时，「GAN」的论文已被援用跳跃 85000 次，是生成模子领域的奠基之作，在畴昔 10 年间鼓吹了稠密商量进展。除了在学术界的影响，它还使生成模子在视觉数据过头他领域的运用中产生了深入影响。
论文先容：本文提议了一个新的框架，通过造反流程来规画生成模子，他们同期教练两个模子：一个生成模子 G，用于捕捉数据分派；一个判别模子 D，用于规画某个样本是来自教练数据的概率，仍是来自 G 生成的概率。生成模子 G 的教练目标是最大化判别模子 D 出错的概率。
该框架对应于极小极大双东说念主博弈。在职意函数 G 和 D 的空间中，存在唯独解，其中 G 规复教练数据分歧，而 D 处处等于 1/2。在 G 和 D 由多层感知器界说的情况下，整个系统不错用反向传播进行教练。在教练或生成样本技术不需要任何马尔可夫链或伸开的类似推理收集。
生成造反收集的小批量飞快梯度下跌教练算法如下：
下图展示了经过造反教练之后从生成器收麇集索要的样本，突显了造反框架的后劲。
论文 2: Sequence to Sequence Learning with Neural Networks
赢得本年 NeurIPS 时分考试奖的另外一篇论文是 Ilya Sutskever、Oriol Vinyals、Quoc V. Le 三东说念主在谷歌互助完成的。
那时，谷歌收购了 Hinton 的公司 DNNResearch，并聘任 Ilya Sutskever 担任谷歌大脑商量科学家。加入谷歌的 Sutskever 全身心性参加到序列建模问题中，它不错运用于语音，文本和视频，其中的一个相配骨子的运用即是机器翻译。
2014 年，Sutskever 与谷歌商量员 Oriol Vinyals 和 Quoc Le 通盘提议了 Seq2seq 学习（Sequence to Sequence Learning）。它输入比如一句英文的序列结构，再将其映射到也具有序列结构的一句法文上。该纪律就此开启了 RNN 世俗运用于讲话任务的期间。这项商量被运用于机器翻译，在大型数据集上的领略优于基于短语的统计机器翻译基线。
文轩 探花
论文麇集：https://arxiv.org/pdf/1409.3215作家：Ilya Sutskever， Oriol Vinyals， Quoc V. Le机构：谷歌
论文先容：深度神经收集 (DNN) 是巨大的模子，在贫窭的学习任务上取得了优异的性能。尽管只有有大型标志教练集可用，DNN 就能很好地责任，但它们不可用于将序列映射到序列。
该论文提议了一种通用的端到端序列学习纪律，该纪律对序列结构作念出最少的假定，使用多层辱骂期回首 (LSTM) 将输入序列映射到固定维度的向量，然后使用另一个深度 LSTM 从向量解码目标序列。
主要商量恶果是，在 WMT'14 数据集的英语到法语翻译任务中，LSTM 生成的翻译在整个测试集上的 BLEU 得分为 34.8，其中 LSTM 的 BLEU 得分因词汇外的内容而受到解决。
此外，LSTM 在处理长句子时莫得贫窭。行为比拟，基于短语的 SMT 系统在归并数据集上的 BLEU 得分为 33.3。当使用 LSTM 对上述 SMT 系统产生的 1000 个假定进行再行排序时，其 BLEU 得分加多到 36.5，这接近于之前在该任务上的最好恶果。LSTM 还学习了对词序明锐且对主动语态和被迫语态相对不变的明锐短语和句子表征。
临了，作家发现回转总计源句子（不是目标句子）中的单词纪律不错显贵栽培 LSTM 的性能，因为这么作念会在源句子和目标句子之间引入好多短期依赖相干，从而使优化问题变得更容易。
跟着大型讲话模子和基础模子的快速发展，东说念主工智能过头运用正在经历范式转机，整个领域受益于 Seq2Seq 奠定的基础。于今，论文的援用量跳跃 27000 次。
它为编码器 - 解码器架构的提议奠定了基石，并启发了后续基于防御力机制的商量，鼓吹了如今基础模子商量的荣华发展。
参考麇集：https://blog.neurips.cc/2024/11/27/announcing-the-neurips-2024-test-of-time-paper-awards/