数据漂移问题出现的背景 我们通常构建数仓的ODS层时，会考虑按照某个时间戳将数据切分后分区存储。ODS表中常出现的时间戳分为四个类型： 源表中标识数据记录更新的时间戳字段，m...
发简信
IP属地：河南
-
关于数据漂移问题和解决
-
关于 Scala 界定、隐式转换的一些知识（五）——上下文界定
在上一节中，我们提到了 Ordering 和 Ordered 的区别，这里再回顾一下：Ordering 继承了 Comparator，而 Comparator 的 comp...
-
-
-
Zookeeper 在 Kafka 中的作用leader 选举 和 follower 信息同步 如上图所示，kafaka集群的 broker，和 Consumer 都需要连接 Zookeeper。Producer 直接...
-
Spark Streaming 检查点机制
SparkStreaming若需要24/7不间断的运行，因此Streaming必须对诸如系统错误，JVM出错等与程序逻辑无关的错误(failures)具体很强的弹性，具备一定...
-
Spark Streaming 的 Transformations
DStream 转换操作包括：无状态转换、有状态转换。无状态转换：每个批次的处理不依赖于之前批次的数据。有状态转换：当前批次的处理需要使用 之前批次的数据或者中间结果。有状态...
-
记一次在 Reduce 中 多次对 values 遍历产生的问题
上面代码中，不能对 values 多次进行 foreach 遍历，第一次遍历之后，再遍历的话，会因为 iterator 中记录当前访问位置的变量，已经到达末尾，而不进入循环体...
