亲爱的社区小伙伴们，Apache Doris 2.1.3 版本已于 2024 年 5 月 20 日正式发布。该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新，进一步简化湖仓一体架构、加速了查询性能；同时提交了若干改进项以及问题修复，进一步提升了系统的性能及稳定性，欢迎大家下载体验。

数据在业务决策过程中的使用频率越来越高，分析视角从传统的宏观统计，不断地向更细粒度转变，参与计算的数据体量也会不断的增加， 导致看似很小的数据量，经过关系运算后，也会变得庞大，同时分析维度组合不断地切换，也会导致预计算变得越来越困难。

1. 规则更新加载问题 2. 规则逻辑判断触发问题 3. 数据堆积

Flink SQL Connector生成工具支持根据不同数据源和连接方式可视化生成Flink SQL，目前支持的数据源类型有：Doris、MySQL、Kafka，支持的连接方式有JDBC、CDC。

本次分享将围绕以下四个方面展开： 1. 蚂蚁实时数仓架构 2. 实时数据质量保障 3. 流批一体应用 4. 数据湖落地展望

实时大数据分析是企业决策的关键，可以让企业获得实时反馈，及时调整策略。Apache Flink 流计算加上 OLAP 系统的组合可以让部分数据实时流动、实时更新、实时查询可见。但是，维护流批两套架构带来的成本、流批割裂、数据封闭等问题，还有大量离线数据无法迁移到实时分析的链路中。

通过说明性的、外行人友好的示例，帮助开发 Apache Hudi 数据Lakehouse的清晰直觉，以及它给沃尔玛数据组织带来的明显好处，Ayush 和 Ankur 彻底解释了该系统的工作原理及其带来的巨大好处可以赋予数据组织。

1w+ 字深入解读 Flink SQL 实现流处理的核心技术！

总而言之，这一讲话的很多理念，从优先经济发展的决心，到进一步开放市场和欢迎跨国企业继续在华投资，特别是关于高质量增长和可持续发展，与梅赛德斯-奔驰的理念不谋而合。我们将会进一步在中国加大投入，在华发展，与华共进。

今天，跟大家分享一下kafka 的存储机制及如何根据 offset 查找消息的。