-
![释放果蝇半脑连接组——大脑连接的最大突触分辨率图]()
描述复杂系统的基本方法是测量其“网络”——各个部分相互连接和通信的方式。例如，生物学家研究基因网络，社会科学家研究社交网络，甚至搜索引擎都部分依赖于分析网页通过相互链接形成网络的方式。
在神经科学中，一个长期存在的假设是脑细胞之间的连接在大脑的功能中起着重要作用。虽然技术困难历来是神经科学家试图详细研究大脑网络的障碍，但这种情况正在开始改变。去年，我们宣布了对整个果蝇大脑的首个纳米分辨率自动重建，其重点是细胞的个体形状。然而，这一成就并没有透露有关它们的连通性的信息。
今天，与HHMI Jane
-
![改革者：高效的变压器]()
理解顺序数据（例如语言、音乐或视频）是一项具有挑战性的任务，尤其是在依赖广泛的周围环境时。例如，如果一个人或一个物体在视频中从视图中消失，但很晚才重新出现，许多模型会忘记它的样子。在语言领域，长短期记忆(LSTM) 神经网络覆盖了足够的上下文来逐句翻译。在这种情况下，上下文窗口（即翻译中考虑的数据范围）涵盖从几十个到大约一百个单词。最近的Transformer 模型不仅提高了逐句翻译的性能，而且可用于通过多文档摘要生成整个维基百科文章。这是可能的，因为 Transformer 使用的上下文窗口扩
-
![使用机器学习以高分辨率“临近预报”降水]()
天气可以以平凡和严肃的方式影响一个人的日常生活，而预测的精确度会极大地影响他们处理天气的方式。天气预报可以告知人们是否应该采取不同的路线上班，是否应该重新安排计划在周末的野餐，或者甚至由于暴风雨即将来临而需要撤离家园。但是，对于局部风暴或以小时为单位演变的事件（例如雷暴），做出准确的天气预报尤其具有挑战性。
在“基于雷达图像的降水临近预报的机器学习，”我们正在介绍用于降水预测的机器学习模型开发的新研究，该模型通过进行适用于近期的高度局部化的“无物理”预测来应对这一挑战。机器学习的一个显着优势是，
-
![使用 GLaM 更高效的上下文学习]()
大型语言模型（例如，GPT-3）具有许多重要的功能，例如在各种任务中执行小样本学习，包括阅读理解和用很少或没有训练示例的问题回答。虽然这些模型可以通过简单地使用更多参数来获得更好的性能，但训练和服务这些大型模型的计算量可能非常大。是否可以更有效地训练和使用这些模型？
在“ GLaM: Efficient Scaling of Language Models with Mixture-of-Experts ”中，我们介绍了通用语言模型 (GLaM)，这是一个万亿权重模型，由于稀疏性，可以有效地训练
-
![一个快速 WordPiece 标记化系统]()
标记化是大多数自然语言处理(NLP) 应用程序的基本预处理步骤。它涉及将文本拆分为称为标记的较小单元（例如，单词或词段），以便将非结构化输入字符串转换为适用于机器学习(ML) 模型的离散元素序列。在基于深度学习的模型（例如，BERT）中，每个标记都映射到一个嵌入向量以输入模型。
一种基本的标记化方法是将文本分解为单词。但是，使用这种方法，未包含在词汇表中的单词将被视
-
![用于时间序列预测的可解释深度学习]()
多水平预测，即在未来多个时间步预测感兴趣的变量，是时间序列机器学习中的一个关键挑战。大多数现实世界的数据集都有时间成分，预测未来可以释放巨大的价值。例如，零售商可以利用未来的销售额来优化他们的供应链和促销活动，投资经理有兴趣预测金融资产的未来价格以最大化他们的业绩，医疗机构可以利用未来的入院人数来拥有足够的人员和设备.
深度神经网络(DNN)越来越多地用于多层面预测，与传统时间序列模型相比，表现出强大的性能改进。虽然许多模型（例如DeepAR、MQRNN）都专注于循环神经网络( RNN )
-
![使用数据集蒸馏更有效地训练机器学习模型]()
要使机器学习 (ML) 算法有效，必须从（通常）大量训练数据中提取有用的特征。但是，由于在计算要求和挂钟时间方面与此类大型数据集的培训相关的成本，此过程可能具有挑战性。通过减少模型有效所需的资源，蒸馏的想法在这些情况下发挥着重要作用。最广为人知的蒸馏形式是模型蒸馏（又名知识蒸馏），其中大型复杂教师模型的预测被蒸馏成更小的模型。
这种模型空间方法的另一种选择是数据集蒸馏[ 1 , 2 ]，其中将大数据集蒸馏为合成的较小数据集。用这样一个精炼的数据集训练模型可以减少所需的内存和计算。例如，不使用CI
-
![RLDS：在强化学习中生成、共享和使用数据集的生态系统]()
大多数强化学习(RL) 和顺序决策算法都需要代理通过与其环境的大量交互来生成训练数据，以实现最佳性能。这是非常低效的，尤其是当产生这些交互很困难时，例如使用真正的机器人收集数据或与人类专家进行交互。这个问题可以通过重用外部知识源来缓解，例如，RL Unplugged Atari 数据集，其中包括玩 Atari 游戏的合成代理的数据。
然而，这些数据集很少，而且在顺序决策中生成数据的任务和方式多种多样（例如，专家数据或嘈杂的演示、人工或合成交互等），这使得它不切实际，甚至不适合整个社区都在处理少量
-
![MURAL：跨语言的多模式、多任务检索]()
对于许多概念，没有从一种语言到另一种语言的直接一对一翻译，即使有，这种翻译也经常带有不同的联想和内涵，对于非母语人士来说很容易丢失。然而，在这种情况下，当以视觉示例为基础时，含义可能会更加明显。以“婚礼”这个词为例。在英语中，人们经常将穿着白色连衣裙的新娘和穿着燕尾服的新郎联系起来，但当翻译成印地语 (शादी) 时，更合适的联想可能是穿着鲜艳色彩的新娘和穿着雪瓦尼的新郎。每个人对这个词的联想可能会有很大差异，但如果向他们展示预期概念的图像，其含义就会变得更加清晰。
近年来，预训练的语言模型，如BERT和GPT-3，在自然语言处理(NLP) 中得到了广泛应用。通过对大量文本进行训练，语言模型获得了关于世界的广泛知识，在各种 NLP 基准测试中取得了强劲的表现。然而，这些模型通常是不透明的，因为可能不清楚它们为何表现如此出色，这限制了模型的进一步假设驱动改进。因此，出现了一条新的科学探究路线：这些模型中包含哪些语言知识？
虽然人们可能想要研究的语言知识类型很多，但为分析提供强大基础的主题是英语中的主谓一致语法规则，它要求动词的语法编号与主语的语法编号一致. 例
-
![通过学习标记化来提高 Vision Transformer 的效率和准确性]()
Transformer 模型在计算机视觉任务中始终如一地获得最先进的结果，包括对象检测和视频分类。与逐像素处理图像的标准卷积方法相比，视觉变换器(ViT) 将图像视为一系列补丁标记（即，由多个像素组成的图像的较小部分或“补丁” ）。这意味着在每一层，ViT 模型使用多头自注意力，根据每对令牌之间的关系重新组合和处理补丁令牌。这样做时，ViT 模型有能力构建整个图像的全局表示。
在输入级别，通过将图像均匀地分割成多个片段来形成标记，例如，将 512 x 512 像素的图像分割成 16 x 16 像
-
![神经网络的通用和可扩展并行化]()
缩放神经网络，无论是使用的训练数据量、模型大小还是使用的计算，对于提高许多现实世界机器学习应用程序的模型质量至关重要，例如计算机视觉、语言理解和神经机器翻译. 反过来，这又促使最近的研究仔细审查在缩放神经模型的成功中起关键作用的因素。尽管增加模型容量可能是提高模型质量的合理方法，但这样做会带来许多必须克服的系统和软件工程挑战。例如，为了训练超过加速器内存容量的大型模型，有必要在多个加速器之间划分权重和模型计算。这种并行化过程会增加网络通信开销，并可能导致设备利用率不足。此外，给定的并行化算法通常
