Facebook利用10亿张社交软件图片，训练AI新算法

脸书的研究人员最近发布了一个新的人工智能模型SEER，它可以从互联网上任何随机和未标记的图像中学习。尽管脸书的这一“突破”仍处于早期阶段，但该团队预计，这一“突破”将引发计算机视觉领域的一场“革命”。

SEER是SElf-SupERvised(自我监督)的英文缩写。SEER的训练使用了10亿张公开的Instagram图片，这些图片并不是人为策划的。也就是说，图片没有经过标注和标注进行算法训练，但SEER仍然可以独立使用数据集对数据进行学习和处理，最终在物体检测等任务中达到最高的准确率。

SEER使用的这种方法被称为“自监督学习”。自监督学习在人工智能领域已经非常成熟。它可以直接从用于训练的信息中创建一个学习系统，而不需要依赖精心标记的数据集来训练如何执行任务，例如识别照片中的对象或翻译一段文本。

最近，自监督学习在科学界引起了很大的关注，因为这种方法意味着人类标记数据的需求要少得多，而且标记数据是一项费力又耗时的任务，这是大多数研究人员不愿意做的。同时，由于自监测模型不需要人工规划数据集，因此可以利用更大、更多样化的数据集。

在一些领域(尤其是自然语言处理领域)，自监督学习方法取得了突破性进展。许多无标签文本训练算法在答疑、机器翻译、自然语言推理等应用中取得了各种进展。

相比之下，计算机视觉还没有完全投入到自我监督学习的革命中。脸书研究公司的软件工程师Priya Gopal说，SEER标志着计算机视觉领域的第一次。她告诉记者，SEER是第一个完全自我监控的计算机视觉模型，它是通过使用互联网的随机图像进行训练的。相比之下，计算机视觉领域现有的自我监控工作是通过使用大量编辑过的ImageNet数据集进行训练的。”

ImageNet实际上是一个由数百万张图片组成的大规模数据库，这些图片都被研究人员贴上了标签。ImageNet面向广大计算机视觉社区开放，旨在推动人工智能的发展。

脸书研究人员根据该项目的数据库评估了环经核算制度的绩效。他们发现，在低照度、目标检测、分割和图像分类等任务中，自监控模型的表现优于最先进的监督式人工智能系统。

Goyal说，SEER只使用随机图像进行训练，但其性能优于现有的自我监控模型。这一结果基本表明，我们不需要像计算机视觉中的ImageNet那样高度计划化的数据集，使用随机图像的自监督学习已经可以产生非常高质量的模型。”

由于自我监督学习需要高度的精确性，研究人员在这方面的工作并非没有挑战。说到文字，人工智能模型必须给文字赋予特定的意义；但是对于图像，算法必须给每个像素一个对应的概念，同时考虑不同图片中同一概念的各种角度、视图和形状。

换句话说，当研究人员处理图像时，他们需要大量的数据和模型，这些数据和模型可以从复杂的信息库中推导出所有可能的视觉概念。

为了实现这一目标，Goyal和她的团队在脸书AI现有的自监督学习的基础上，开发了一种称为“SwAV”的新算法，该算法将显示相似概念的图像分为不同的组。脸书科学家还设计了一种深度学习算法的卷积网络，可以模拟人脑中神经元的连接模式，并赋予图像中不同对象不同的重要性。

该系统使用了10亿张Instagram地图的强大数据集，至少比例足够大。脸书的团队使用了V100 Nvidia GPU和32GB内存。模型规模增大后，团队不得不使用模型来设置可用内存。但戈亚尔解释说，下一步的研究将有助于确保计算能力能够适应新系统。

她说，当我们想在越来越多的GPU上训练模型时，GPU之间的通信需要足够快，以实现更快的训练。这一挑战可以通过开发清晰的软件和研究技术来解决，开发的软件和技术可以对特定的内存和运行时预算有效。

因此，在SEER投入实际用例之前，还有一些工作要做。但Goyal认为，SEER技术的影响力不容小觑。她说，SEER技术使我们能够在互联网上用丰富的随机图像训练大规模模型，并在计算机视觉领域取得各种进展。’

Goyal说，‘这一突破可以实现计算机视觉领域的自监督学习革命，这有点类似于我们在自然语言处理中看到的涉及文本的自监督学习革命。’

SEER可在脸书用于广泛的计算机视觉任务，包括自动生成图像描述、帮助识别违反政策的内容等。SEER技术也可以在脸书以外图像和元数据有限的领域发挥作用，例如医学成像。

脸书的团队呼吁各方做更多的工作，推动SEER进入下一个发展阶段。脸书团队还开发了一个基于PyTorch的多用途库，可用于自我监督学习。名为“VISSL”的库是开源的，目的是鼓励广泛的AI社区使用这项技术进行测试。