当前位置: 首页 > news >正文

diy做网站优化课程

diy做网站,优化课程,做网站关于我们,济宁网站建设专家motivation 领域泛化(DG)是一个复杂的迁移学习问题,旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性,因此,应该从本质上提高DG的性能。在这项工作中,我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标…

motivation

领域泛化(DG)是一个复杂的迁移学习问题,旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性,因此,应该从本质上提高DG的性能。在这项工作中,我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标准DG基准极大地提高了更大的主干和训练数据集的准确性,但在许多实际情况下,微调fm是不切实际的。我们提出了DPL(领域提示学习)作为一种以条件提示生成形式进行领域推理的新方法。

DPL只需要训练一个轻量级的提示生成器(三层MLP),其参数与之前DG文献中的分类投影仪的规模相当,就可以显著提高DPL的精度。DPL与CLIP的结合提供了令人惊讶的性能,在几个标准数据集(即PACS, VLCS, OfficeHome和TerraIncognita)上将zero-shotCLIP的准确率从73.7%提高到79.3%。

1.introduce

像对比语言图像预训练(CLIP)这样的大型预训练视觉语言模型是一种新兴的模型,在学习跨许多视觉任务的可转移表征方面显示出巨大的潜力。CLIP的核心是通过将图像的表示与图像的文本描述的表示进行对比来学习图像表示,例如“一张{类名}的照片”。文本描述通常被称为提示,其设计对于提高CLIP性能至关重要。值得注意的是,CLIP可以处理看不见的类,而无需通过使用目标类名适当地更改文本描述来对它们进行微调。

本文使用DomainBed研究了CLIP对各种分布变化的鲁棒性,DomainBed是最近提出的DG设置基准。虽然之前的工作在基准测试中测试了各种DG方法,但研究最多的是集中在中等规模的预训练模型上,如ResNet18或ResNet50。在DG设置中利用CLIP有两种最简单的方法(图2)。第一种方法是对CLIP训练的图像编码器进行微调,类似于ResNet和ViT等其他视觉模型。CLIP训练的骨干网络大大优于许多仅在图像上训练的骨干网络,如ResNet、big transfer和vision transformer 。然而,与此同时,微调有时会降低某些领域的性能,这表明微调可能会扭曲预训练特征的良好特性。另一个简单方法是设计模板提示符,例如“一个{类名}的照片”。这种方法的明显优点是,它不需要优化任何网络,因此,通过预训练保持表征学习。尽管它很简单,但zero-sho CLIP在许多DG基准上仍然比在源域上微调的视觉骨干(例如ResNet18, ResNet50, ViT-B16)更稳健,而它不如由CLIP训练的微调视觉骨干。

在DG中应用CLIP的三种方法的概念说明。

(1)微调用可训练的分类器更新CLIP的图像编码器。

(2)在不更新训练域参数的情况下,在测试时使用手工提示进行zero-sho CLIP对比预测。

(3)提示学习训练一个提示优化器,然后利用优化后的提示进行预测。

DPL分属于(3)提示学习,它在训练阶段训练一个提示生

http://www.ritt.cn/news/18808.html

相关文章:

  • 广西执业药师培训网站北京网站外包
  • 在线免费网站建设平台优化排名 生客seo
  • 化妆品网站建设流程图精准营销策略都有哪些
  • 香港网站后缀seo+网站排名
  • 中国最大的外贸平台商丘seo优化
  • 做网站用到的软件深圳网站设计知名乐云seo
  • 多语种外贸网站建设杭州网站建设网页制作
  • 怎么用ai做企业网站框架网络推广怎么做效果好
  • 深圳市网站建设公司设计沈阳网站seo排名公司
  • 扬子科技网站建设小红书推广
  • 深圳做夜场做网站如何快速推广一个app
  • 巫山集团网站建设公众号软文推广多少钱一篇
  • 用office做网站搜索引擎网址
  • 南通做百度网站的公司哪家好交换链接是什么
  • 三明做网站的公司企业管理培训公司排行榜
  • 开源的公司网站网站关键词搜索
  • wordpress 仿阿里巴巴关键词搜索优化公司
  • wordpress 无法处理图像.请返回重试.廊坊seo网络推广
  • 广州做网站找哪家好自主建站
  • 做网站需要画草图湖北网站推广
  • 网站前期准备工作aso排名优化
  • 景区网站建设教程如何发布自己的网站
  • wordpress 自定义留言seo外链发布平台
  • 住房和城乡建设部主网站个人永久免费自助建站
  • 网站怎么做301关键词优化怎么优化
  • 用帝国cms做企业网站版权公关公司
  • 沈阳建设网站建站成都seo招聘
  • 二级域名做网址导航大全网站百度推广图片尺寸要求
  • dsicuz做的网站合肥网络公司seo
  • 爱分享wordpress网站搜索引擎优化的基本内容