shuffle操作原理 是spark中一些特殊的算子操作会触发的一种操作shuffle操作，会导致大量的数据在不同的机器和节点之间进行传输，因此也是spark中最复杂、最消耗...
发简信
IP属地：河南
-
149、Spark核心编程进阶之Shuffle相关 -
207、Spark 2.0之Structured Streaming：基于checkpoint的容错机制
容错机制 如果实时计算作业遇到了某个错误挂掉了，那么我们可以配置容错机制让它自动重启，同时继续之前的进度运行下去。这是通过checkpoint和wal机制完成的?？梢愿鴔ue...
-
205、Spark 2.0之Structured Streaming：output mode、sink以及foreach sink详解output操作 定义好了各种计算操作之后，就需要启动这个应用。此时就需要使用DataStreamWriter，通过spark.writeStream()方法返回。此时需要指...
-
204、Spark 2.0之Structured Streaming：对流式的dataset和dataframe执行计算操作基础操作：选择、映射、聚合 我们可以对流式dataset/dataframe执行所有类型的操作，包括untyped操作，SQL类操作，typed操作。 滑动窗口：基于even...
-
203、Spark 2.0之Structured Streaming：创建流式的dataset和dataframe
创建流式的dataset和dataframe 流式dataframe可以通过DataStreamReader接口来创建，DataStreamReader对象是通过SparkS...
-
202、Spark 2.0之Structured Streaming：编程模型Structured Streaming基础编程模型 structured streaming的核心理念，就是将数据流抽象成一张表，而源源不断过来的数据是持续地添加到这个表中...
-
201、Spark 2.0之Structured Streaming：wordcount入门案例
Structured Streaming structured streaming是一种可伸缩的、容错的、基于Spark SQL引擎的流式计算引擎。你可以使用，与针对静态数据...
-
200、Spark 2.0之Structured Streaming：深入浅出的介绍
流式计算 大多数的流式计算引擎（比如storm、spark streaming等）都仅仅关注流数据的计算方面：比如使用一个map函数对一个流中每条数据都进行转换，或者是用re...