当前位置: 首页 > news >正文

网络营销案例分析范文游戏行业seo整站优化

网络营销案例分析范文,游戏行业seo整站优化,动态网站留言板怎么做,公司装修风格文章构建了一个通用单变量概率时间预测模型 Lag-Llama,在来自Monash Time Series库中的大量时序数据上进行了训练,并表现出良好的零样本预测能力。在介绍Lag-Llama之前,这里简单说明什么是概率时间预测模型。概率预测问题是指基于历史窗口内的…

文章构建了一个通用单变量概率时间预测模型 Lag-Llama,在来自Monash Time Series库中的大量时序数据上进行了训练,并表现出良好的零样本预测能力。在介绍Lag-Llama之前,这里简单说明什么是概率时间预测模型。概率预测问题是指基于历史窗口内的序列值以及相关的一些协bianliang去预测一定窗口内未来值的联合分布

文章地址:https://arxiv.org/pdf/2310.08278v1.pdf

代码地址:https://github.com/kashif/pytorch-transformer-ts

在这里插入图片描述
将论文中的方案进行落地时,如果有问题,可以找我们一起来聊

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

本文源代码已梳理完毕,建了技术交流群&星球!想要进交流群或者资料的同学,可以直接加微信号:mlc2060。加的时候备注一下:研究方向 +学校/公司,即可。然后就可以拉你进群了。

方式①、添加微信号:mlc2060,备注:来自CSDN + 技术交流
方式②、微信搜索公众号:机器学习社区,后台回复:技术交流

方案介绍

注意到上面概率预测的定义中考虑了协变量C,Lag-Llama考虑的并不是像Nbeadts或TSMixer中的外部变量,而是来自序列本身的值。通常考虑一定的时间滞后,例如季度、月度、周度、日度、小时和秒级等,选取序列值,以匹配时间序列数据的周期性变化。当然作者指出也可以将单序列分成存在重叠的多个patch作为协变量,但这些patch中的数据点可能不再遵循时间上的因果性,因此作者更推荐第一种。

Lag-Llama的backbone是最新的LlaMA [43] 架构,通过RMSNorm实现预归一化,并在每个注意力层的Q和K表示中加入了旋转位置编码(RoPE),这里就不详细说明了,大家有兴趣可以参考:

  • https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

  • https://ai.meta.com/blog/large-language-model-llama-meta-ai/

下面回到Lag-Llama模型,如下:图片

模型遵循自回归的模式,以历史时刻单变量的值以及对应的协变量为输入,经过M个transformer-based Decoder层,得到历史数据的表征,最后再经过一个Distribution head输出下个时刻预测值的概率分布,如上图蓝色三角形所示,最终通过最小化对数似然训练整个模型。

对于Distribution head,可以选择不同形式的分布与模型的表征能力相结合以输出任何形式的分布。文章中实验选择了student t分布,通过并通过Distribution head输出了与这个分布对应的三个参数,即其自由度、均值和尺度。在后续的工作中,大家或许可以选择更加复杂的分布形式,例如Normalizing flows概率模型、混合高斯模型、Copulas模型等。

相比于图片和语料数据,时序数据建模面临一个挑战,即量纲,数据集中的时间序列的取值可以是任意范围的。因此,文章对一定时间窗内的数据计算均值和方差,并进行归一化来去除量纲的影响,对于预测值,从指定分布采样后再对其进行反归一化来获取最终值。同时为了防止过拟合,模型在训练过程中对每个batch的数据都进行了Freq-Mix和Freq-Mask,这个大家感兴趣的可以去查看具体代码。

实验

训练数据集:

  • https://openreview.net/pdf?id=wEc1mgAjU-

  • https://arxiv.org/pdf/1906.05264.pdf

模型训练参数:

图片

零样本数据集测试结果:

图片

不同参数量的Lag-Llama模型在traffic数据集上的表现:参数量大于后,模型的性能就趋于稳定了。

图片

http://www.ritt.cn/news/22469.html

相关文章:

  • 网上商城都有哪些平台河南seo优化
  • 旅游网站做模板素材凡科建站后属于自己的网站吗
  • 在哪做网站专业网络舆情分析师
  • 网站咨询窗口怎么做广东seo网站设计
  • 巴中哪里可以做公司网站硬件工程师培训机构哪家好
  • 网站建设与维护 参考文献项目营销策划方案
  • 网站建设销售员自动app优化最新版
  • 徐汇网站设计如何写软文赚钱
  • 网站的性能特点软文写作模板
  • 外贸网站如何做免费推广百度seo怎么操作
  • 可以免费做网站吗新闻稿发布软文平台
  • 大型租车门户网站商业版源码免费域名注册永久
  • 深圳专业网络营销外包公司福州百度seo排名软件
  • 公司做网站服务费怎样做账总裁班课程培训
  • 成都学网站建设广东seo价格是多少钱
  • 怎么做弹幕小视频网站怎么找到当地的微信推广
  • 西安城乡住房建设厅网站首页百度竞价调价软件
  • 厦门网站建设 金猪外链网站是什么
  • 哪些企业网站做的比较好黄冈网站推广优化找哪家
  • 四川网站建设免费咨询百度app浏览器下载
  • 自己在线房屋设计免费seo工资一般多少
  • 新网站怎么快速收录友情链接检测结果
  • 商城网站开发制作百度关键词价格排行榜
  • wordpress自定义的注册seo顾问是什么
  • 在线建网站谷歌seo是什么职业
  • 网站开发难点珠海seo推广
  • 实验方案设计怎么写网站关键词优化排名推荐
  • 自己建设网站需要审核吗原创软文
  • wordpress免插件cdn加速seo专家是什么意思
  • 佛山品牌网站建设怎样建立自己的网站平台