沐鸣平台网站如何在Apache Spark中执行流转换操作。

通过Apache Spark
转换操作教程,您将了解各种Apache沐鸣平台网站
火花流转换操作与示例被使用
使用Apache Spark的Spark专业人员
流的概念。您将学习像Spark这样的流操作
映射操作,平面映射操作,火花过滤操作,计数
操作,火花还原键操作,火花计数值操作
与示例和星火UpdateStateByKey操作与示例,将
在星火工作中帮助你。
Apache Spark流转换操作介绍
在开始学习Spark中的各种流操作之前,让我们修改一下Spark流的概念。
以下是星火工业中使用的各种最常见的流化转换功能:沐鸣平台网址
a map ()
Spark中的Map函数通过一个函数传递源DStream的每个元素,并返回一个新的DStream
火花地图()例子
val conf = new SparkConf().setMaster(“local[2]”) .setAppName(“MapOpTest”)
val ssc = new StreamingContext(conf, Seconds(1))
ssc。socketTextStream (“localhost”, 9999年)
val ans = words。map {word => (“hello”,word)} //将hello映射到每一行
ans.print ()
启动计算
awaittermination() //等待终止
}
b . flatMap ()
Spark中的FlatMap函数类似于Spark map函数,但是在沐鸣登陆地址
flatmap,输入项可以映射到0或更多的输出项。这
在spark中创建map和flatmap操作之间的差异。
火花FlatMap例子
= ssc。socketTextStream (“localhost”, 9999年)
val words = lines.flatMap(_。split(“)) //每一行都用空格分隔单词
val对=单词。map(word => (word, 1))
val wordCounts =对。reduceByKey (_ + _)
wordCounts.print ()
c . filter ()
的过滤器函数只选择的那些记录
func返回true并返回一个新的DStream的源DStream
这些记录。