欢迎来到爱乐透双色球走势表_爱乐透手机版苹果下载_爱乐透手机版安卓下载! 联系我们 网站地图

爱乐透双色球走势表_爱乐透手机版苹果下载_爱乐透手机版安卓下载

0379-65557469

公司荣誉
全国服务热线
0379-65557469

电话: 0379-65557469
0379-63930906
0379-63900388 
0379-63253525   
传真: 0379-65557469
地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室 

公司荣誉
当前位置: 首页 | 公司介绍 > 公司荣誉

深度学习不得不会的搬迁学习Transfer Learning

作者:admin 发布时间:2019-05-14 20:08:44 浏览次数:140
打印 收藏 关闭
字体【
视力保护色

目录

一、概述

二、什么是搬迁学习?

2.1 模型的练习与猜测:

2.2 为什么要搬迁学习?

2.3 搬迁学习有几种办法

2.4 三种搬迁学习办法的比照

三、试验:测验对模型进行微调,以进一步提高模型功能

3.1 Fine-tune所扮演的人物

3.2 Fine-tune 也能够有三种操作办法

3.3 不同数据集下运用微调

3.4 微调的留意事项

四、多重预练习视觉模型的搬迁学习

一、概述

在传统的机器学习的框架下,学习的使命便是在给定充沛练习数据的根底上来学习一个分类模型;然后运用这个学习到的模型来对测验文档进行分类与猜测。可是,咱们看到机器学习算法在当时的Web发掘研讨中存在着一个要害的问题:一些新出现的范畴中的许多练习数据十分难得到。咱们看到Web运用范畴的展开十分快速。许多新的范畴不断涌现,从传统的新闻,到网页,到图片,再到博客、播客等等。传统的机器学习需求对每个范畴都标定许多练习数据,这将会消耗许多的人力与物力。而没有许多的标示数据,会使得许多与学习相关研讨与运用无法展开。其次,传统的机器学习假定练习数据与测验数据遵守相同的数据散布。可是,在许多状况下,这种同散布假定并不满意。一般可能发生的状况如练习数据过期。这往往需求咱们去从头标示许多的练习数据以满意咱们练习的需求,但标示新数据是十分贵重的,需求许多的人力与物力。从别的一个角度上看,假如咱们有了许多的、在不同散布下的练习数据,彻底丢掉这些数据也是十分糟蹋的。怎么合理的运用这些数据便是搬迁学习首要处理的问题。搬迁学习能够从现有的数据中搬迁常识,用来协助将来的学习。搬迁学习(Transfer Learning)的方针是将从一个环境中学到的常识用来协助新环境中的学习使命。因而,搬迁学习不会像传统机器学习那样作同散布假定。

二、什么是搬迁学习?

搬迁学习(Transfer learning) 望文生义便是把已练习好的模型参数搬迁到新的模型来协助新模型练习。考虑到大部分数据或使命都是存在相关性的,所以经过搬迁学习咱们能够将现已学到的模型参数(也可理解为模型学到的常识)经过某种办法来共享给新模型然后加速并优化模型的学习功率不必像大大都网络那样从零学习。

2.1 模型的练习与猜测:

深度学习的模型能够划分为 练习猜测 两个阶段。

练习 分为两种战略:一种是自食其力从头建立模型进行练习,一种是经过预练习模型进行练习。

猜测 相对简略,直接用现已练习好的模型对数据集进行猜测即可。

2.2 为什么要搬迁学习?

(1)站在伟人的膀子上:前人花很大精力练习出来的模型在大概率上会比你自己从零开始搭的模型要强悍,没有必要重复造轮子。

(2)练习本钱能够很低:假如选用导出特征向量的办法进行搬迁学习,后期的练习本钱十分低,用CPU都彻底无压力,没有深度学习机器也能够做。

(3)适用于小数据集:关于数据集自身很小(几千张图片)的状况,从头开始练习具有几千万参数的大型神经网络是不现实的,因为越大的模型对数据量的要求越大,过拟合无法防止。这时分假如还想用上大型神经网络的超强特征提取才能,只能靠搬迁学习。

2.3 搬迁学习有几种办法

(1)Transfer Learning:冻住预练习模型的悉数卷积层,只练习自己定制的全衔接层。

(2)Extract Feature Vector:先核算出预练习模型的卷积层对一切练习和测验数据的特征向量,然后抛开预练习模型,只练习自己定制的简配版全衔接网络。

(3)Fine-tune:冻住预练习模型的部分卷积层(一般是接近输入的大都卷积层),练习剩下的卷积层(一般是接近输出的部分卷积层)和全衔接层。

* 注:Transfer Learning关怀的问题是:什么是“常识”以及怎么更好地运用之前得到的“常识”,这能够有许多办法和手法,eg:SVM,贝叶斯,CNN等。而fine-tune仅仅其间的一种手法,更常用于描述搬迁学习的后期微调中。

2.4 三种搬迁学习办法的比照

(1)第一种和第二种练习得到的模型本质上并没有什么区别,可是第二种的核算复杂度要远远优于第一种。

(2)第三种是对前两种办法的弥补,以进一步提高模型功能。要留意的是,这种办法并不一定能真的对模型有所提高。

本质上来讲:这三种搬迁学习的办法都是为了让预练习模型能够担任新数据集的辨认作业,能够让预练习模型本来的特征提取才能得到充沛的开释和运用。可是,在此根底上假如想让模型能够到达更低的Loss,那么深度学习不得不会的搬迁学习Transfer Learning光靠搬迁学习是不行的,靠的更多的仍是模型的结构以及新数据集的丰厚程度。

三、试验:测验对模型进行微调,以进一步提高模型功能

3.1 Fine-tune所扮演的人物

 拿到新数据集,想要用预练习模型处理的时分,一般都会先用上面办法一或许办法二来看看预练习模型在新数据上的体现怎么样,摸个底。假如体现不错,还想看看能不能进一步提高,就能够试试Fine-tune,进一步解锁卷积层以持续练习模型。

可是不要等待会有什么质的腾跃。

 别的,假如因为新数据集与原数据集(例如ImageNet数据集)的不同太大导致体现很糟,那么一方面能够考虑自己从头练习模型,另一方面也能够考虑解锁比较多层的练习,亦或爽性只用预练习模型的参数作为初始值,对模型进行完好练习。

3.2 Fine-tune 也能够有三种操作办法

注:其实基本思路都是相同的,便是解锁少量卷积层持续对模型进行练习。

场景1:现已选用办法一的办法,带着冻僵的卷积层练习好分类器了。

怎么做:接着用办法一里的模型,再解锁一小部分卷积层接着练习就好了。

场景2:现已选用办法二里的办法,把分类器练习好了,现在想要进一步提高模型。

怎么做:从头搭一个预练习模型接新分类器,然后把办法二里练习好的分类器参数载入到新分类器里,解锁一小部分卷积层接着练习。

场景3:刚上手,想要 Transfer Learning + Fine-tune趁热打铁。

怎么做:和办法一里的操作相同,仅有不同的便是只冻僵一部分卷积层练习。需求留意的是,这么做需求调配很低的学习率,因而收敛可能会很慢。

3.3 不同数据集下运用微调

数据集1

数据量少,但数深度学习不得不会的搬迁学习Transfer Learning据相似度十分高

  • 在这种状况下,咱们所做的仅仅修正终究几层或终究的softmax图层的输出类别。

数据集2

数据量少,数据相似度低

  • 在这种状况下,咱们能够冻住预深度学习不得不会的搬迁学习Transfer Learning练习模型的初始层(比方k层),并再次练习剩下的(n-k)层。因为新数据集的相似度较低,因而依据新数据集对较高层进行从头练习具有重要意义。

数据集3

数据量大,数据相似度低

  • 在这种状况下,因为咱们有一个大的数据集,咱们的神经网络练习将会很有用。可是,因为咱们的数据与用于练习咱们的预练习模型的数据比较有很大不同。运用预练习模型进行的猜测不会有用。因而,最好依据你的数据从头开始练习神经网络(Training from scatch)。

数据集4

数据量大,数据相似度高

这是抱负状况。在这种状况下,预练习模型应该是最有用的。运用模型的最好办法是保存模型的体系结构和模型的初始权重。然万里长城永不倒后,咱们能够运用在预先练习的模型中的权重来从头练习该模型。

3.4 微调的留意事项

(1)一般的做法是切断预先练习好的网络的终究一层(softmax层),并用与咱们自己的问题相关的新的softmax层替换它。

(2)运用较小的学习率来练习网络。

(3)假如数据集数量过少,咱们进来只练习终究一层,假如数据集数量中等,冻住预练习网络的前几层的权重也是一种常见做法。

注:卷积神经网络的中心是:

(1)浅层卷积层提取根底特征,比方边际,概括等根底特征。

(2)深层卷积层提取笼统特征,比方整个脸型。

(3)全衔接层依据特征组合进行评分分类。

四、多重预练习视觉模型的搬迁学习

和上面的办法二相似,仅仅咱们现在具有多个预练习模型,选用特征提取办法,运用堆叠技能将不同的预练习模型的特征组合在一起去练习。运用多个预练习模型后,与运用一个特搜集的状况相同:它们期望供给一些不堆叠的信息,然后使组合时功能更优越。

版权所有:洛阳市建设工程咨询有限责任公司 联系人:李经理 电话: 地址:洛阳市洛龙区开元大道219号2幢1-2522、2501、2502、2503、2504、2505室
版权所有 爱乐透双色球走势表 甘ICP备131488668号-6