沐鸣平台网站如何在Apache Spark中执行流转换操作。

通过Apache Spark

转换操作教程，您将了解各种Apache沐鸣平台网站

火花流转换操作与示例被使用

使用Apache Spark的Spark专业人员

流的概念。您将学习像Spark这样的流操作

映射操作，平面映射操作，火花过滤操作，计数

操作，火花还原键操作，火花计数值操作

与示例和星火UpdateStateByKey操作与示例，将

在星火工作中帮助你。

Apache Spark流转换操作介绍

在开始学习Spark中的各种流操作之前，让我们修改一下Spark流的概念。

以下是星火工业中使用的各种最常见的流化转换功能:沐鸣平台网址

a map ()

Spark中的Map函数通过一个函数传递源DStream的每个元素，并返回一个新的DStream

火花地图()例子

val conf = new SparkConf().setMaster(“local[2]”) .setAppName(“MapOpTest”)

val ssc = new StreamingContext(conf, Seconds(1))

ssc。socketTextStream (“localhost”, 9999年)

val ans = words。map {word => (“hello”，word)} //将hello映射到每一行

ans.print ()

启动计算

awaittermination() //等待终止

}

b . flatMap ()

Spark中的FlatMap函数类似于Spark map函数，但是在沐鸣登陆地址

flatmap，输入项可以映射到0或更多的输出项。这

在spark中创建map和flatmap操作之间的差异。

火花FlatMap例子
= ssc。socketTextStream (“localhost”, 9999年)

val words = lines.flatMap(_。split(“)) //每一行都用空格分隔单词

val对=单词。map(word => (word, 1))

val wordCounts =对。reduceByKey (_ + _)

wordCounts.print ()

c . filter ()

的过滤器函数只选择的那些记录

func返回true并返回一个新的DStream的源DStream

这些记录。