当前位置: 首页 > news >正文

wordpress 5.1自制表单广州百度首页优化

wordpress 5.1自制表单,广州百度首页优化,江西景德镇建设厅网站,bbs网站域名和www比较那个好点Flink数据流结构 DataStream 转换 通常我们需要分析的业务数据可能存在如下问题: 数据中包含一些我们不需要的数据 数据格式不方面分析 因此我们需要对原始数据流进行加工,比如过滤、转换等操作才可以进行数据分析。 “ Flink DataStream 转换主要作…

图片

Flink数据流结构

DataStream 转换

通常我们需要分析的业务数据可能存在如下问题:

  • 数据中包含一些我们不需要的数据

  • 数据格式不方面分析

因此我们需要对原始数据流进行加工,比如过滤、转换等操作才可以进行数据分析。

Flink DataStream 转换主要作用:对输入的数据流(DataStream)经过各种转换操作以生成新的数据流

操作分类

  • 单条记录操作

    • 比如 Map  、 Fliter

  • 基于窗口 (Window)操作

    • 窗口根据某些特征(例如,过去 5 秒内到达的数据)对所有流事件进行分组

  • 合并数据流

    • union 、join、connect 可以将多个DataStream 合并为一个DataStream 进行分析处理

  • 拆分数据流

    • 将数据流拆分为多个数据流分别对每个数据流进行分析

基本操作

操作描述备注
Map将数据流中每个元素转换为新的元素类似 Java 中 stream.map 操作
Filter筛选只保留符合条件的数据类似 Java 中 stream.filter 操作
FlatMap将一个输入"展开"为多个元素
KeyBy将流逻辑划分为不相交的分区。所有具有相同键的记录都分配到同一个分区。
Reduce对具有相同键的元素进行规约操作,如求和、求最大值

使用示例

Map

将数据流中每个元素转换为新的元素

使用场景很多,主要对原始数据进行加工转换,Java 8 中 stream().map 操作相信大家不陌生, Flink中map 操作类似。

以下展示对数据流中数字取绝对值例子。

DataStream<Integer> dataStream = //...
dataStream.map(new MapFunction<Integer, Integer>() {@Overridepublic Integer map(Integer value) throws Exception {return value >=0 ? value : -value;}
});

Filter

筛选出数据流中符合条件的数据,进行分析, 该操作同样与Java 8 中 stream().filter 类型。

以下代码 保留数据流中正数。

dataStream.filter(new FilterFunction<Integer>() {@Overridepublic boolean filter(Integer value) throws Exception {return value > 0;}
});

FlatMap

该操作将一个输入"展开"为多个元素,简单来说一个对象,变成一个List。

典型例子,将句子拆分为单词

dataStream.flatMap(new FlatMapFunction<String, String>() {@Overridepublic void flatMap(String value, Collector<String> out)throws Exception {for(String word: value.split(" ")){out.collect(word);}}
});

Reduce 操作

对具有相同键的元素进行规约操作,如求和、求最大值。单词统计能够很好的展示 Flink 基本操作,包括reduce操作。

数据源进行KeyBy 后, Reduce 操作即 数据流按Key 分组聚合

public class WordCount {  public static void main(String[] args) throws Exception {  // 设置执行环境  final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();  // 从文件中读取文本数据  DataStream<String> text = env.readTextFile("your file");// 使用 flatMap 将文本分割成单词  DataStream<Tuple2<String, Integer>> counts = text.flatMap(new Tokenizer())  // 使用 keyBy 分组,然后使用 reduce 进行聚合  .keyBy(value->value.f0).reduce(new ReduceFunction<Tuple2<String, Integer>>() {  @Override  public Tuple2<String, Integer> reduce(Tuple2<String, Integer> value1, Tuple2<String, Integer> value2) {  return new Tuple2<>(value1.f0, value1.f1 + value2.f1);  }  });  // 打印结果  counts.print();  // 执行程序  env.execute("Flink Word Count Example");  }  // 自定义 Tokenizer 用于分割文本  public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {  @Override  public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {  // 使用空格分割字符串  for (String word : value.toLowerCase().split("\\s+")) {  if (word.length() > 0) {  out.collect(new Tuple2<>(word, 1));  }  }  }  }  
}

总结

本文介绍了Flink 数据流基本操作Map/Filter/FlatMap/KeyBy/Reduce 的用法以及使用场景,并通过一个完整的例子展示 这些基本操作同时使用,完成数据分析过程。

对于Flink 一些其他高级操作,会持续更新中。

http://www.ritt.cn/news/22067.html

相关文章:

  • 受欢迎的大连网站建设网络营销工具的特点
  • 百度有哪些网站可免费做软件推广大数据营销精准营销
  • 移动手机网站开发seo技术交流论坛
  • wordpress3.3淘宝seo优化怎么做
  • 青岛胶南做网站的有多少产品推广平台
  • 下载类网站怎么做提升网页优化排名
  • wordpress个人网站网络推广一般怎么收费
  • 免费有限公司网站合肥瑶海区房价
  • 制作网站的素材重庆百度推广seo
  • 网站快速排名方法推广网络推广
  • 响应式网站建设市场免费com域名注册永久
  • 瑶海区网站建设网络平台推广具体是怎么推广
  • 常德网站建百度推广的费用
  • 企业平台网站建设网络营销公司有哪些
  • 冬季什么行业做网站比较多深圳华强北新闻最新消息今天
  • 响应式网站制作公司百度百度网址大全
  • 武汉网站制作多少钱湖南 seo
  • wordpress建个人网站如何设置友情链接
  • 给小孩子做网站百度知道入口
  • 文化传播集团网站建设网络营销方案策划案例
  • 网站底部样式百度权重1
  • 现代化专业群建设网站某网站搜索引擎优化
  • 学习建站的网站夫唯老师seo
  • 广州红盾信息门户网站东莞seo建站如何推广
  • 网站制作网站开发ple id充值百度交易平台官网
  • 椒江网站制作网站建设策划书
  • 重庆南岸营销型网站建设公司推荐seo产品优化免费软件
  • 个人软件外包接单平台宁波网站制作优化服务公司
  • 华为云域名注册seo学徒
  • 关于做花茶网站的策划书网站查询域名入口