我的职业生涯作为一个一直学纯数学的同学,在被迫转硕后不得不思考今后的人生:换个学校继续读博,但不想再浪费时间;直接去当个高中老师,但尚未实现自身的价值;因为一直对计算机比较感兴趣,最终决定换个方向从头开始,希望在接受社会的毒打后能够证明自己的价值。本篇文章将记录职业生涯一路走来的点点滴滴~ 2023-11-01 人生 #总结 #职业
我所了解的Flink工作后做了一段时间的SQL BOY,但从20年底开始不满足于现状,正好业务也有越来越多的实时需求,所以开始学习实时计算。从Java写起到回归SQL再到结合Python的探索,算是对Flink有了一定程度上的了解,本文将回顾个人学习经历,供自省与借鉴~ 2023-10-21 数据 #Flink #总结
我的数学生涯曾经问过自己为什么选择数学,当时给出的答案是因为除了数学其他什么也不会。记忆里对数学一直很感兴趣,一路学到了中国的最高殿堂,只可惜最后迷路了,没有坚持下去。但一路走来,有过欣喜,有过悲伤,值得记录一下沿途的风景~ 2023-10-21 人生 #总结 #数学
消灭暴力扫描,世界属于渐进数仓建设过程中大部分表都是增量表,当计算过去一段时间的聚合指标时,常规的实现方式会重复扫描分区,带来大量计算的浪费。本文我们将介绍一些增量计算的方式,避免重复扫描分区,提高计算效率~ 2023-12-09 数据 #总结 #数仓
大数据去重统计Unique Visitor(UV)是大数据统计中常见一个指标,但由于其自身的不可加性,常常会碰见性能瓶颈。本文我们将对比几种常见计算UV的方法,了解其原理以及特点。 2023-08-25 数据 #总结 #去重 #数据结构
Flink规则引擎随着业务发展,对风控能力的要求会越来越高,比如丰富的事件类型处理、不同的统计方式计算、动态的规则配置支持等。本篇文章我们就来讨论如何利用Flink构建一个规则引擎,去解决这些问题,来支持风控平台的建设。 2023-07-15 数据 #Flink #风控 #架构 #教程