欢迎访问本站!

首页科技正文

Hinton新作!越大的自监视模子,半监视学习需要的标签越少

admin2020-11-0320

大发888在线

欢迎访问dafa888网址(www.173419.com)。ddafa888是大发888在线的简称,ddafa888开放大发888客户端下载、大发888体育、dafa888扑克、大发888真人等业务。


泉源:AI科技谈论

编译:青暮

本文先容了Hinton团队揭晓在NeurIPS 2020上的一项研究工作,一作是Ting Chen,研究人员首次在ImageNet上尝试了半监视学习的典型范式,并取得了优越的效果。此外,他们还发现,网络的规模越大,需要的标签数据越少。

论文地址:https://arxiv.org/abs/2006.10029

仅使用1%的标签(每类≤13个标签图像),本文提出的方式即可到达73.9%ImageNet top-1准确率,与以前的SOTA相比,标签效率提高了10倍。

使用10%的标签,本文的方式可以到达77.5%的top-1准确率,优于使用100%标签的尺度监视训练。

“无监视预训练、监视微调”范式

充分行使少量符号示例和大量未符号示例举行学习是机械学习的一个长期存在的问题

,

欧博亚洲客户端

欢迎进入欧博亚洲客户端(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

,

人们曾经提出一种半监视学习来试图解决这个问题,其中涉及无监视或自监视的预训练,然后举行有监视的微调。

这种方式在预训练时代以与义务无关的方式行使未符号的数据,仅在有监视微调时使用带标签的数据。

这种方式在计算机视觉上很少受关注,但是在自然语言处置中已成为主流。例如,人们首先在未符号的文本(例如Wikipedia)上训练大型语言模子,然后在一些带符号的示例中对该模子举行微调。

基于视觉示意的自监视学习的最新进展,Ting Chen等人对ImageNet上的半监视学习举行了深入研究,并首次探索了“无监视预训练、监视微调”范式。

通过与义务无关的方式使用未符号数据,作者发现,网络规模非常主要

也就是说,使用大型(在深度和广度上)神经网络举行自监视的预训练和微调,可以大大提高准确率。

除了网络规模之外,作者示意,这项研究还为对比示意学习提供了一些主要的设计选择,这些选择有益于监视微和谐半监视学习。

一旦卷积网络完成了预训练和微调,其在特定义务上的展望就可以获得进一步改善,并可以提炼成更小的网络。

为此,作者接下来再次使用了未符号的数据,以让学生网络模拟西席网络的标签展望。

网友评论