1 spark sql写入mysql非常慢 有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。Spark处理之后有大概40万条...
发简信
IP属地：云南
-
spark3.x 生产调优笔记
-
-
hive3.x on spark3.0生产调优实践1 数据倾斜 绝大部分任务都很快完成，只有一个或者少数几个任务执行的很慢甚至最终执行失败，这样的现象为数据倾斜现象。 将数据倾斜分为单表携带了 GroupBy 字段的查询和两...
-
Flink检查点机制与状态管理1 检查点机制 1.1 CheckPoints 为了使 Flink 的状态具有良好的容错性，Flink 提供了检查点机制 (CheckPoints) 。通过检查点机制，Fli...
-
智慧医疗 - 微服务最佳实践
01 产品分析与定位 02 微服务架构设计 以业务为中心 高内聚低耦合 高度自治 弹性设计 日志与监控 自动化 03 实时消息推送技术演进 接入层负载均衡基于http七层负载...
-
Flink Window API窗口（window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析 window类型 时间窗口（Time Window） 滚动时...
-
用户画像 - 挖掘标签
RFM 用户价值模型 1 需求 假设我是一个市场营销者, 在做一次活动之前, 我可能会思考如下问题 谁是我比较有价值的客户? 谁是比较有潜力成为有价值的客户? 谁快要流失了?...