当前位置: 首页 > news >正文

厦门网站建设 金猪外链网站是什么

厦门网站建设 金猪,外链网站是什么,四川公共资源交易信息网,python web开发在实际应用的时候,我们的样本不会是完全干净的,即存在噪声样本。那使用存在噪声的样本时,我们如何更有效的进行模型学习呢?Label Dependent Nose样本选择(Sample Selection)第一种很直接的想法,…

在实际应用的时候,我们的样本不会是完全干净的,即存在噪声样本。那使用存在噪声的样本时,我们如何更有效的进行模型学习呢?

Label Dependent Nose

样本选择(Sample Selection)

  1. 第一种很直接的想法,就是我们在样本集里,把那些‘噪声’找出来,然后直接过滤掉。但这里面的难点在于怎么找出哪些噪声。

  1. 人工经验:比如大学生一般是18岁-30之间,如果小于18岁,比如只有15岁就大概率不是。

  1. 规则:比如先走一遍已存在的比较靠谱的模型,将p比较低的直接过滤;

  1. 另一种想法,就是在模型训练的时候,进行样本选择。即对于每个batch,只选择clean样本的loss进行模型的更新。其中比较主流的方法时co-train系列。

  1. Decoupling(《Decoupling “when to update” from “how toupdate”》)

核心思路:分别独立训练2个模型,对于每个batch,2个模型分别预测。对于预测结果不一致的数据,才会被选择用来更新模型的参数,又被称为「update by disagreement」

  1. Co-teaching(《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》)

核心思路:对于2个模型f和g。对于每个batch,选择模型f中loss比较小的数据,计算这些数据在模型g上的损失并更新模型g的参数。同时选择模型g中loss比较小的数据,计算它们在f上的损失并更新模型f的参数。每个batch里选择多少个数据,由R(T)来控制。

  1. Co-teaching+(ICML2019的《How does Disagreement Help Generalization against Label Corruption?》)

核心思路: 结合了Co-teach和decoupling的思路

正则化(Robust Regularization)

通过正则化的方法,防止模型过拟合岛噪声样本上。比如Dropout、BN等方法。

  1. 显式正则:比如Dropout、BN、权重衰减等。这里介绍一种bilevel learning

bilevel learning:使用一个干净的验证集,应用双层优化的方式来约束过拟合。通过调整权重,最小化在验证集上的错误。在每个mini-batch上,计算训练样本和验证集样本之间梯度的一致性,一致性高的训练样本对应的权重增大。

  1. 隐式正则:在不降低模型表示能力的前提下提升了泛化性能

adversarial training: 对抗训练,鼓励网络正确分类原始输入和扰动的输入;

label smoothing:标签平滑,防止过度自信,平滑分类边界,平滑标签是原始标签和其他可能标签的加权组合;

mixup: 数据线性插值,标签也线性插值

结构设计(Robust Architecture)

  1. 噪声自适应层(noise adaptation layer)

专门用噪声过渡矩阵来建模噪声转换,测试的去掉这一层。只针对实例无关的噪声。

Loss设计(Robust Loss)

  1. 首先我们介绍下对称损失(Symmetric Loss),因为Symmetric Loss是理论可证明噪声鲁棒的。

我们这里考虑2分类任务。对于训练样本x,标签为y(y ∈ {0, 1}),fθ(x)为模型输出(θ为待优化的参数),损失函数为l。

a. 没有标签噪声的情况下,待优化的目标为l[fθ(x), y] (1);

b. 在考虑有噪声的情况下,x有概率ρ被误标为1-y,那么实际上的优化目标是(1−ρ)⋅l[fθ(x), y] + ρ⋅l[fθ(x), 1−y] (2)。

c. 对于目标函数(2),如果无论有无噪声,该优化问题都会得到同样的解。这时候损失函数L就是噪声鲁棒的。

d. 目标函数(2)可以转换为如下,整理后的第一项是目标函数(1)的一个固定倍数。而第二项是当样本标签等概率取遍所有可能值时,所产生的损失值。

e. 如果满足如下结果时(其中C是常数),那么l就是Symmetric Loss,即优化目标函数(2)和优化目标函数(1)是等价的。

  1. MAE

考虑2分类,l[fθ(x), y] + l[fθ(x), 1-y] = |1-fθ(x)| + |0-fθ(x)| = 1,所以MAE是对称损失。但MAE的性能比较差,跟CCE(categorical cross entropy)相比,训练的收敛时间更长。

  1. GCE(generalized cross entropy)

  1. CE/CCE不是对称损失。l[fθ(x), y] + l[fθ(x), 1-y]=C,要求各个损失项非负,且其和为定值,那么各个损失项必然是有界的。但在当fθ(x)接近于0或者1时,logfθ(x)或−log(1−fθ(x))是无界的。

  1. GCE可以兼顾MAE的鲁棒性和CE的性能。−log(fθ(x))项,替换成一个指数项

其中幂次q为一个超参数,取值范围为(0, 1] 。当q = 1时,该指数项就蜕变为MAE的形式;当q→0时,由洛必达法则,该指数项将蜕变为CE的形式。

  1. SCE(symmetric cross entropy):在CCE上结合了一个noise tolerance term。

  1. Focal Loss & GHM Loss

GHM可以认为是Focal Loss的一种优化。如下图所示,梯度模长在接近0时样本量最多,这部分是简单样本。随着模长增大,样本量迅速下降,在U字底部的部分可以认为是困难样本。在模长接近1时,数量又变多,这部分可以认为是极困难样本或者噪声样本。

最终根据这种分布设计梯度密度,来调整样本的权重。

  1. Loss Adjustment

  1. Loss Correction:和噪声自适应层类似,损失校正通过给模型输出结果乘上一个估计的标签转移矩阵来修改loss,不同之处在于,噪声转移矩阵的学习是和模型的学习解耦的。包括backward correction、forward correction等。

  1. Loss Reweighting:计算loss时给假样本更小的权重,给真样本更高的权重。这类方法手动设计权重函数和超参。

  1. Label Refurbishment:将网络的输出标签和噪声标签组合作为翻新后的标签:(a是噪声标签的置信度)

  1. Meta Learning

Instance Dependent Noise

实际上在真实世界的数据集中,存在更多的是instance-dependent (feature-dependent) label noise,即特征相关的噪音标签。

  1. SEAL(self-evolution average label)

  1. CORES(COnfidence REgularized Sample Sieve)

参考

Learning from Noisy Labels with Deep NeuralNetworks: A Survey

http://www.ritt.cn/news/22449.html

相关文章:

  • 哪些企业网站做的比较好黄冈网站推广优化找哪家
  • 四川网站建设免费咨询百度app浏览器下载
  • 自己在线房屋设计免费seo工资一般多少
  • 新网站怎么快速收录友情链接检测结果
  • 商城网站开发制作百度关键词价格排行榜
  • wordpress自定义的注册seo顾问是什么
  • 在线建网站谷歌seo是什么职业
  • 网站开发难点珠海seo推广
  • 实验方案设计怎么写网站关键词优化排名推荐
  • 自己建设网站需要审核吗原创软文
  • wordpress免插件cdn加速seo专家是什么意思
  • 佛山品牌网站建设怎样建立自己的网站平台
  • 转运网站建设青岛网站制作推广
  • 重庆网站建设公司有哪些百度问答兼职怎么做
  • wordpress微信公众号登录界面seo公司多少钱
  • 做鞋子的招聘网站有哪些seo优化网页
  • 服装网站建设教程山东疫情最新消息
  • 软件著作权申请流程及费用seo关键词排名优化手机
  • 专业的网站建设企业微信营销软件有哪些
  • 网站制作免费软件搜索推广平台
  • 合肥网站建设电话宣传推广渠道有哪些
  • 成人高考考试科目徐州关键词优化排名
  • 网站建设执行力免费网站统计代码
  • php做网站为什么比java快网站营销与推广
  • 六安网站建设电话竞价排名点击
  • 查找网站建设虚拟目录搜索引擎哪个好用
  • 企业网站傻瓜搭建佛山营销型网站建设公司
  • wordpress加载很慢搜索引擎优化包括
  • 济南网站建设 伍际网络外链服务
  • 网站设计自已申请网站关键词百度自然排名优化