当前位置: 首页 > news >正文

交做网贷的网站网站建设黄页在线免费

交做网贷的网站,网站建设黄页在线免费,怎么做百度网站验证码,对于新公司如何让其做网站推广前情提要 编码器-解码器结构 如果将一个模型分为两块:编码器和解码器那么编码器-解码器结构为:编码器负责处理输入,解码器负责生成输出流程:我们先将输入送入编码器层,得到一个中间状态state,并送入解码器…

前情提要

编码器-解码器结构

  • 如果将一个模型分为两块:编码器和解码器
  • 那么编码器-解码器结构为:编码器负责处理输入,解码器负责生成输出
  • 流程:我们先将输入送入编码器层,得到一个中间状态state,并送入解码器层,和额外的输入一同处理后,得到模型的输出
    在这里插入图片描述
  • CNN就可以重新表示为下图
    在这里插入图片描述
  • RNN也可以表示为下图:
    在这里插入图片描述

Seq2seq

  • 序列到序列的模型:从一个句子生成到另一个句子
  • 模型分为编码器、解码器两部分,其中,编码器可以是一个RNN,用来读取输入句子,解码器使用另外一个RNN来输出生成的句子
  • 注意:由于在输入时,我们知道全部的输入句子,所以可以用两个RNN做双向,但是解码器是生成模型,不能看到完整的句子,所以不能做双向
  • 注意:在编码器层,通过开始<bos>、结束<eos>来控制编码器的输出
    在这里插入图片描述
  • 编码器层的输出是不会作为模型的输出,相反它最后一层的输出作为编码器层输入的一部分,和编码器层额外的输入合并,整体作为编码器层的输入,即编码器层的最后隐藏状态,作为解码器的初始隐藏状态,如下:
    在这里插入图片描述

Transformer的框架概述

  • NLP中预训练的目的:为了生成词向量
  • Transformer采用了seq2seq(序列到序列)的模型,整体框架如下:
    • seq2seq的模型基本都分为编码器层和解码器层,即从编码器到解码器的结构
      在这里插入图片描述

使用机器翻译的场景来解释

  • 在机器翻译的场景中:
    • 编码器层:把输入变成一个词向量
    • 解码器层:得到编码器层输出的词向量后,生成翻译的结果
      在这里插入图片描述
  • 同时,N * 的意思是:编码器层里面又有N个小编码器(默认N=6),一个编码器可以看作Self-Attention,而Self-Attention会对词向量做增强,经过6个编码器,那就是增强了6次
  • 编码器层最后的输出会分别给6个解码器
    在这里插入图片描述
  • 因此,Transformer的关键就在于编码器和解码器,如下:
    在这里插入图片描述
http://www.ritt.cn/news/21967.html

相关文章:

  • 郑州做网站天强科技站长之家网站
  • 阜阳做网站百度招聘网最新招聘信息
  • 学电子商务有出路吗seo外链专员
  • 在百度做网站销售武汉seo学徒
  • 最好的网站建设机构百度一下移动版首页
  • 专门做超市dm网站公众号排名优化软件
  • 广州网站建设50强名单it人必看的网站
  • web网站开发前景怎么样友情链接是啥意思
  • 松江区做网站的公司线上商城推广软文
  • 网站和虚拟服务器销售人员培训课程有哪些
  • wordpress开启子目录多站点模式手机上制作网页
  • 海汇100做网站可靠吗推广游戏怎么拉人最快
  • 网站建设策划师网站联盟广告
  • 私人做的不错的网站河南新站关键词排名优化外包
  • 做网站价格多少app怎么开发出来的
  • 深圳做服装设计网站的公司2023年6月份又封城了
  • 销售网站建设的短文手游推广渠道
  • 淘宝seo什么意思做网站建设优化的公司排名
  • 网站如何做数据分析报告免费推广公司的网站
  • 中山 做网站恢复原来的百度
  • 网站seo综合公司西安关键词排名软件
  • 建网站需要营业执照吗惠州seo外包平台
  • 佛山外贸企业网站建设上海外贸网站seo
  • 武汉网站建设顾问网络推广工作好干吗
  • 从您的角度来看_对于农产品网站的建设有什么想法或建议呢?网络营销策略案例
  • 视频网站中滑动列表怎么做的宁波seo怎么做推广渠道
  • 牙科网站开发今日头条新闻军事
  • 做化妆品的网站河北关键词seo排名
  • 做网站jijianjianzhan公众号怎么开通
  • 电子商务网站建设论文开题报告关键词林俊杰歌词