我所了解的Flink工作后做了一段时间的SQL BOY,但从20年底开始不满足于现状,正好业务也有越来越多的实时需求,所以开始学习实时计算。从Java写起到回归SQL再到结合Python的探索,算是对Flink有了一定程度上的了解,本文将回顾个人学习经历,供自省与借鉴~ 2023-10-21 数据 #Flink #总结
大数据去重统计Unique Visitor(UV)是大数据统计中常见一个指标,但由于其自身的不可加性,常常会碰见性能瓶颈。本文我们将对比几种常见计算UV的方法,了解其原理以及特点。 2023-08-25 数据 #总结 #去重 #数据结构
Flink规则引擎随着业务发展,对风控能力的要求会越来越高,比如丰富的事件类型处理、不同的统计方式计算、动态的规则配置支持等。本篇文章我们就来讨论如何利用Flink构建一个规则引擎,去解决这些问题,来支持风控平台的建设。 2023-07-15 数据 #Flink #风控 #架构 #教程
SQL Is All Your Need: Flink Dynamic SQL实时监控是Flink一个重要且复杂的应用场景,所以一般不会只采用SQL去实现。但本篇文章我们将从一个简单的问题出发,挑战只使用SQL来满足逐渐复杂的需求,希望最终可以再次拓宽SQL的使用边界。 2023-06-15 数据 #教程 #Flink SQL #Paimon
SQL Is All Your Need: Flink SQL UDF随着数据处理的逻辑变得越来越复杂,编写的SQL也会变得越加复杂,有时甚至会感觉SQL力不从心。这个时候就需要扩展SQL的表达能力,而UDF(用户自定义函数)就是这样一种扩张开发的机制,拓展系统的内置函数,实现自定义逻辑。本编文章我们就从具体场景出发,使用各种Flink UDF去优化或解决相关问题。 2023-05-11 数据 #教程 #Flink SQL #Paimon
SQL Is All Your Need: Flink SQL大数据开发简单地说就是从一个存储系统经过计算引擎的加工到另外一个存储系统的过程,如果把存储系统抽象为一张表,利用SQL进行处理,那么其实就和传统的数据库查询没有本质的区别。本篇文章利用Paimon和Flink SQL实现数据开发相关示例,迈向SQL Is All Your Need的第一步。 2023-04-28 数据 #教程 #Flink SQL #Paimon
Java调用Python每个编程语言都有其适用的范围,当人们需要结合不同的生态去完成一些功能时,就会遇到不同语言通信的问题,本篇文章我们结合一个具体示例,展示如何通过FFI语言交互接口实现在Java中调用Python。 2023-02-25 数据 #教程 #FFI