首页 文章 个人博客 AutoML-Zero:可学习的进化代码

AutoML-Zero:可学习的进化代码

发布时间:2021-09-15编辑:RainNight阅读(73)

机器学习 (ML) 最近取得了巨大成功,这是通过多年专家研究发现的深度神经网络等 ML 算法实现的. 这项研究所涉及的困难推动了AutoML,这是一个旨在自动化 ML 算法设计的领域。到目前为止,AutoML 一直专注于通过结合复杂的手工设计组件来构建解决方案。一个典型的例子是,神经结构搜索中,子场,其中一个建立神经网络自动出来复合层(例如,卷积,批次范数,和返回),并且所述主题的很多 研究。

在 AutoML 中使用这些手工设计的组件的另一种方法是从头开始搜索整个算法。这是具有挑战性的,因为它需要探索广阔而稀疏的搜索空间,但它具有巨大的潜在好处——它不偏向于我们已经知道的东西,并且可能允许发现新的和更好的 ML 架构。以此类推,如果人们从头开始建造房屋,那么与仅使用预制房间建造房屋相比,灵活性或改进的潜力更大。然而,发现这种房屋设计可能更困难,因为与组合整个房间的预制设计相比,有更多可能的方法来组合砖块和砂浆。因此,从头开始对算法学习的早期研究集中在算法的一个方面,学习规则,自 90 年代初以来就没有被重新审视过。到目前为止。我们最近在 ICML 2020 上发表的论文

将我们的研究扩展到进化 AutoML,表明从头开始成功进化 ML 算法是可能的。我们提出的方法称为AutoML-Zero,从空程序开始,仅使用基本的数学运算作为构建块,应用进化方法自动找到完整 ML 算法的代码。考虑到小的图像分类问题,我们的方法重新发现了基本的 ML 技术,例如具有反向传播、线性回归的2 层神经网络等等,这些都是研究人员多年来发明的。这一结果证明了自动发现更多新颖的 ML 算法以解决未来更难问题的可能性。

从零开始进化学习算法

我们使用经典进化方法的变体来搜索算法空间。自 80 年代以来,这些方法已被证明可用于发现计算机程序。它们的简单性和可扩展性使它们特别适合学习算法的发现。

在我们的例子中,一个群体是用空程序初始化的。然后它在重复循环中进化,以产生越来越好的学习算法。在每个周期,两个(或更多)随机模型竞争,最准确的模型成为父模型。父级克隆自身以产生一个子代,该子代发生变异。也就是说,子代的代码以随机方式被修改,这可能意味着,例如,任意插入、删除或修改代码中的一行。然后在图像分类任务上评估变异算法。

file

探索一个艰难的搜索空间

我们AutoML-Zero的设置,相比于以前的很多工作AutoML,使得搜索空间非常稀疏-准确的算法可能是一样少1 10 12候选人。这是由于提供给算法的构建块的粒度,其中仅包括基本操作,例如变量赋值、加法和矩阵乘法。在这样的环境中,随机搜索不会在合理的时间内找到解决方案,但根据我们的测量,进化速度可以快数万倍。我们将搜索分布在偶尔交换算法的多台机器上(类似于迁移在真实生活中)。我们还构建了用于评估每个子算法的小型代理分类任务,并使用高度优化的代码执行此评估。

尽管稀疏,但随着时间的推移,进化搜索发现了更复杂和更有效的技术。最初,出现了最简单的算法,它们表示具有硬编码权重的线性模型。随着时间的推移,随机梯度下降(SGD) 是为了学习权重而发明的,尽管梯度本身并未作为构建块提供。尽管一开始存在缺陷,但 SGD 得到相对较快的修复,开始对预测和学习算法进行一系列改进。在我们的玩具场景中,该过程发现了几个已知对研究界有用的概念。最后,我们的方法设法构建了一个模型,该模型的性能优于具有可比复杂性的手工设计。

file

进化算法 上

图包括我们的方法产生的最佳进化算法。这个最终算法包括噪声注入等技术作为数据增强、双线性模型、梯度归一化和权重平均,并且对基线的改进也转移到搜索期间未使用的数据集。我们的论文描述了进化代码中的不同行如何实现这些技术,并通过消融研究验证它们的价值。

通过更多的实验,我们表明可以通过控制“栖息地”来指导进化搜索——即进化过程评估算法适应度的任务。例如,当我们减少数据量时,噪声 ReLU出现,这有助于正则化。或者当我们减少训练步骤的数量时,我们见证了学习率衰减的出现,这使得收敛速度更快。诸如此类的有针对性的发现很重要——虽然如果自动工具发明机带有锤子或针头可能会很有趣,但如果你给它展示一些钉子和针头时它会带有锤子,那就更有趣了当你向它展示一些线程时。以此类推,在我们的工作中,当存在少量数据(“钉子”)时会发现嘈杂的 ReLU(“锤子”),并且在存在少量训练步骤时学习率会下降。

结论

我们认为这是初步工作。我们还没有从根本上进化出新的算法,但令人鼓舞的是,进化出的算法可以超越搜索空间中存在的简单神经网络。目前,搜索过程需要大量计算。*随着未来几年可用硬件的扩展以及搜索方法变得更加高效,搜索空间可能会变得更具包容性,结果也会得到改善。随着我们进一步了解 AutoML-Zero,我们对发现新机器学习算法的前景感到兴奋。

网盘推荐

微信公众号

书籍标签