随着物联网、5G以及大数据技术的发展,人类已经进入大数据时代,毫不夸张地说,未来IT相关的职位,一项必备技能就是大数据处理能力。当前,人类基于大数据和人工智能等技术,在特定领域中可以大大提升业务系统的智能化水平。
人类对于计算速度的追求从未停止,即使面对海量的数据,我们也希望大数据框架可以在非常低的延迟下进行响应,从而提升用户的体验。
主流的分布式大数据计算框架有Storm、Spark和Flink,按照Apache官方的介绍,Flink是一个对有界和无界数据流进行状态计算的分布式处理引擎和框架。通俗地讲,Flink就是一个流计算框架,主要用来处理流式数据。其起源于2010年德国研究基金会资助的科研项目“Stratosphere”,2014年3月成为Apache孵化项目,12月即成为Apache顶级项目。Flinken在德语里是“敏捷”的意思,意指快速精巧。其代码主要是由 Java 实现,部分代码由 Scala 实现。Flink 既可以处理有界的批量数据集,也可以处理无界的实时流数据,为批处理和流处理提供了统一编程模型。
由于阿里对Flink的收购以及改进,目前Flink社区非常活跃,社区一直致力于统一流处理和批处理API,并逐步增强Flink SQL相关功能,即期望通过SQL来满足大部分的大数据ETL处理场景。另外,随着Flink SQL功能的增强和发展,也大大降低了Flink学习的难度。
目前,Flink在百度、阿里、字节跳动、小米和腾讯等商业巨头中有成熟的应用,每日可以处理万亿的事件,且可以维护TB级别的状态信息。Flink支持多种编程语言,可以用Java、Scala以及Python进行大数据业务处理。与此同时,Flink支持灵活的窗口计算以及乱序数据处理,这相对于其他大数据计算框架来说,有比较强的优势。
如果你对实时大数据处理感兴趣,致力于构建分布式大数据处理应用程序,并且有一点Java编程基础,那么本教程十分适合你。本教程作为Flink的入门教材,由浅入深地对Flink大数据处理方法进行介绍,特别对常用的DataStream API和DataSet API、Table API和SQL进行了详细的说明,将各个知识点有机整合,做到理论联系实际。