成都网站建设设计

将想法与焦点和您一起共享

大数据中适用于少量数据的深度学习结构是什么

这期内容当中小编将会给大家带来有关大数据中适用于少量数据的深度学习结构是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

成都创新互联公司服务项目包括大足网站建设、大足网站制作、大足网页制作以及大足网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,大足网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到大足省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

导读  

一些最常用的few shot learning的方案介绍及对比。

大数据中适用于少量数据的深度学习结构是什么

传统的CNNs (AlexNet, VGG, GoogLeNet, ResNet, DenseNet…)在数据集中每个类样本数量较多的情况下表现良好。不幸的是,当你拥有一个小数据集时,它们通常不能很好地工作。但是,在许多真实的场景中,收集数据是很有挑战性的。例如,在人脸识别系统中,通常每个人的图像都很少,或者在医学领域中,一些罕见疾病的病例也很有限。

那么,当你的类别中只有5个样本,甚至每个类别只有一个样本时,深度学习能提供什么呢?这个问题被称为few-shot learning。这是一个活跃的研究领域,有许多成功的方法可以采用。在本文中,我将只提到一些最有前途的体系结构。

这篇文章不会深入地解释架构,因为这会使文章变得很长。相反,我将只介绍架构的主要思想,以便任何希望处理小数据集的人都可以对模型有一个大致的了解。

 

Siamese Neural Networks

大数据中适用于少量数据的深度学习结构是什么

Siamese Neural Networks的结构  
 

Siamese神经网络以两个样本作为输入,输出给定输入是否属于同一类的概率(或损失)。输入样本通过相同的网络(共享权值),它们的嵌入在损失函数中进行比较(通常使用基于嵌入的差异的度量)。在训练过程中,“网络”学会以更稳健的方式对输入进行编码。首先,在支持集(验证步骤)上对模型进行训练,以学习相同/不同的配对。然后,将测试样本与训练集中的每个样本进行比较,得到基于学习的编码后的测试样本与每个类(one-shot task)的相似度。它是在few-shot学习领域中第一个成功的模型之一,并成为其他模型的基础。

大数据中适用于少量数据的深度学习结构是什么

Siamese Neural Networks的步骤  
 
 

Triplet Network and Triplet Loss

大数据中适用于少量数据的深度学习结构是什么

Triplet Networks  
 

Triplet Network是对Siamese 网络的扩展。Triplet网络不使用两个样本,而是使用三个样本作为输入:positiveanchornegative样本。Positive样本和anchor样本来自同一类,negative样本来自不同类。Triplet损失的安排使得anchor的嵌入靠近positive而远离negative。通过这种方式,网络在提取嵌入信息时变得更加健壮。Triplet Networks已应用于人脸识别数据集,显示出非常好的性能。

大数据中适用于少量数据的深度学习结构是什么

大数据中适用于少量数据的深度学习结构是什么

Triplet Loss  
 
 

Matching Networks

大数据中适用于少量数据的深度学习结构是什么

Matching Networks  
 

匹配网络将嵌入和分类相结合,形成端到端可微的最近邻分类器。对于模型的预测,是标签的加权和,yᵢ是训练集。权重是成对相似性函数a(????̂, xᵢ),查询(测试)样本和支持(训练)样本之间的相似性。匹配网络的关键是相似函数的可微性。

大数据中适用于少量数据的深度学习结构是什么

大数据中适用于少量数据的深度学习结构是什么

其中C代表了余弦相似度函数,k是在训练集中的样本总数,函数f* g是嵌入函数。总体而言,在测试样本????̂的嵌入和训练集样本xᵢ的嵌入之间计算相似性。这个工作的主要创新点就是对嵌入函数优化得到最大的分类精度。

 

Prototypical Networks

大数据中适用于少量数据的深度学习结构是什么

Prototypical Networks  
 

原型网络不将测试样本与所有训练样本进行比较,而是将测试样本与类原型(或平均类嵌入)进行比较。其关键假设是对于每个类别,存在一个嵌入,簇样本的表示是分布在这个原型的嵌入cₖ的周围的。在他们的论文中,证明了它的性能优于匹配网络。

 

Meta-Learning

大数据中适用于少量数据的深度学习结构是什么

模型不可知Meta-Learning  
 

元学习意味着学会学习。元学习试图训练模型的参数,使其通过一个或多个梯度步骤(像人类一样)在新任务中表现最佳。模型的参数根据更新后的特定于任务的参数进行更新,使得任何任务在完成单一步骤后,其性能都是最高的。

与模型无关的元学习(MAML)的目的是学习一个通用的模型,这个模型可以很容易地对许多任务进行微调,只需要几个迭代步骤。对于元批处理中的每个任务,使用基模型的权重初始化一个模型。采用随机梯度下降(SGD)算法更新特定任务的权值。然后,使用更新后权重的损失总和来更新元学习者的权重。这里的目标是,对于几个不同的任务,这些参数的损失将会很小。

大数据中适用于少量数据的深度学习结构是什么

模型不可知Meta-Learning算法  
 
 

Bonus: MetaFGNet

大数据中适用于少量数据的深度学习结构是什么

MetaFGNet  
 

除了目标任务网络外,MetaFGNet还使用辅助数据训练网络。这两个网络共享初始层(基础网络)以学习一般信息。这种方法也被称为多任务学习。将辅助数据(S)与目标数据(T)进行训练,对目标训练产生正则化效果。MetaFGNet还使用了一个名为sample selection的过程。辅助数据中的样本通过网络,对目标分类器的相似度打分,同时也计算源分类器。如果相似性高,得分也会高。只选择得分阈值以上的样本进行训练。这里主要假设辅助数据S应该具有与目标集T类似的分布。结果表明,该过程提高了整体性能。使用元学习方法进行训练效果有提升。

上述就是小编为大家分享的大数据中适用于少量数据的深度学习结构是什么了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


名称栏目:大数据中适用于少量数据的深度学习结构是什么
浏览路径:http://chengdu.cdxwcx.cn/article/jjdoij.html