本站公告

  • 版权说明:网站所有内容均来自互联网用户共享内容,不代表众星棋牌官网立场,若侵犯您的权益,请与我们联系。

  • 投诉/建议:欢迎与众星棋牌官网合作、投诉、建议,意见可以发送详细内容至邮件:67801662@qq.com

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout,多项任务表现更佳

乾明 金磊 发自 凹非寺

众星棋牌官网量子位 报道 | 公众号 QbitAI

美国持续封锁,华为的技术自研,已经深入到了AI底层算法层面上,并开始将研究成果面向业界开源。

刚刚,华为诺亚实验室开源Disout算法 (地址在文末),直接对标谷歌申请专利的 Dropout算法

而且,在多项任务上,华为的新算法都超过了Dropout。比如,在ImageNet上训练的ResNet-50可以达到78.76%的准确率,而谷歌Dropout系列方法仅为76.8%。

众星棋牌官网这一算法背后的论文,已被AAAI 2020收录,并对外公开。华为到底提出的Disout到底如何,也得以呈现。

华为自研Disout:多项AI任务超越Dropout

在申请专利时,谷歌将Dropout定义为“解决神经网络过拟合的系统和方法”。

其核心的思路是,训练神经网络前向传播过程中,Dropout能让某个神经元的激活值以一定的概率p停止工作,也就是“Drop” (丢弃),提升模型稳定性,来缓解过拟合现象。

Disout是提出的新型替代方案,是一种通过研究 特征图扰动来增强深度神经网络的泛化能力的方法。

简单来说,就是根据网络中间层的Rademacher 复杂度 (ERC),确定给定深度神经网络的泛化误差上界。

并将扰动引入特征图,来降低网络的Rademacher复杂度,从而提高其泛化能力。

它们之间的区别可以用下面这张图来展示——也就是对输出特征进行扰动,而不是丢弃。

相比之下,华为的方法效果更好。

Disout不但在传统视觉任务上表现优异,超越谷歌Dropout性能,在NLP任务以及语音处理任务上,同样具备有效性。

接下来,就让我们一起看下Disout在各个数据集上与Dropout系列方法的对比。

首先,CIFAR-10的和CIFAR-100数据上的测试准确率对比。

全连接层实验中,华为所提出的特征图扰动方法,训练CNN达到85.24%的准确度,相比于最新的RDdrop方法,测试准确率分别在CIFAR-10和CIFAR-100数据集上提高了2.13%和1.58%。

华为研究人员表示,他们提出的Disout方法可以有效地降低经验Rademacher的复杂度,同时保留模型的表示能力,从而具有较好的测试性能。

在卷积层实验上,华为的方法可以适用于卷积层,提高深度神经网络的性能,而且优于DropBlock方法,性能分别提高了0.32%和0.63%。

ImageNet 数据集实验中结果也显示,华为提出的特征扰动方法不仅可以替换常规的dropout方法提高深度神经网络的性能,而且可以提升最近提出的Dropblock方法的性能。

与传统的dropout方法相比,Disout将准确性从76.80%提高到77.71%,Block Disout方法达到了78.76%的top-1准确率,超过其他现有技术。

华为研究人员说,他们的方法可以在提高泛化能力并保留原始特征的有用信息。

(责任编辑:众星棋牌官网)