官宣｜Apache Flink 1.20 发布公告

Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.20.0。与往常一样，这是一个充实的版本，包含了广泛的改进和新功能。总共有 142 人为此版本做出了贡献，完成了 13 个 FLIPs、解决了 300 多个问题。感谢各位贡献者的支持！
头像海星之梦 发布于2024年08月02日
717浏览 1点赞

京东物流基于Flink & StarRocks的湖仓建设实践

京东物流实时湖仓建设基于Flink和StarRocks技术栈，解决复杂业务场景下的实时数据处理挑战。通过分层架构设计（ODS/DWD/ADS/APP）和联邦查询支持多业务域（仓储、供应链、金融等），实现分钟级数据分析。存算分离方案优化长周期数据存储成本，冷热数据分层存储于本地磁盘与云端OSS。
实时湖仓OLAPFlinkStarRocks
头像数据分析狮 发布于05月14日
43浏览

基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成

本教程详细介绍了如何使用Flink CDC YAML快速构建MySQL到Kafka的Streaming ELT作业，包括整库同步、表结构变更同步演示和关键参数配置。从Flink集群部署、Docker环境准备、MySQL数据初始化，到通过Flink CDC CLI提交任务并验证数据同步效果，完整演示了实时数据同步流程。教程还展示了表结构变更的实时同步能力，以及通过路由配置实现表名映射等特色功能。
Flink CDC实时同步Kafka
头像我不是超人 发布于04月19日
34浏览

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

本文主要介绍了鹰角数据平台架构的演进过程，包括数据湖选型、湖仓交互平台、权限管理体系实施等内容。通过采用Paimon和Trino等技术，实现了数据的高效存储和查询分析，并建设了完善的权限管理体系。同时，还进行了定制化Trino基建和联邦查询等方面的探索和实践。
FlinkHudi数据湖选型湖仓一体建设PaimonTrino
头像数智先锋 发布于02月19日
143浏览

万字雄文ToB革命未来产业的重大变革解析

本文主要讨论未来产业的发展趋势和焦点，包括政府支持、技术创新和市场需求等方面。未来产业将由智能、健康、绿色三大主导技术群融合突破与协同支撑，引发社会结构重构和制度环境改进。
发展趋势技术创新智能技术生物技术能源革命
头像忆往昔 发布于01月25日
58浏览

推荐一套开源电商项目数据湖建设实战代码

推荐一套数据湖建设实战项目代码，涉及MySQL、Seatunnel、Doris等组件构建离线数仓和Kafka、Flink等构建实时数仓。代码包括数据采集、任务编排和数据展示等部分。欢迎添加作者讨论。
头像海星之梦 发布于01月19日
203浏览

成本下降50腾讯音乐StarRocks存算分离大规模实践

腾讯音乐采用StarRocks存算分离架构构建湖仓一体新方案，实现降本增效。通过迁移实践，性能不变且成本降低，简化运维与快速弹性。最佳实践包括数据打散到多个对象存储桶、写入反压改造和集群吞吐配置优化等。监控和调优是关键。
头像海星之梦 发布于01月19日
101浏览

司马老师数据库系列讲座一干货7000字深度刨析HTAP技术架构关键技术和国内主流产品

本文介绍了程序猿读历史公众号中的文章《HTAP数据库架构类型、关键技术详解》。文章详细解读了HTAP数据库的四大架构类型和五大关键技术，包括事务处理、分析处理、数据同步和查询优化等技术。此外，文章还介绍了国内主流HTAP产品的发展状况。本文旨在帮助读者了解HTAP数据库的技术细节和发展趋势。
头像海星之梦 发布于01月11日
95浏览

基于Kyuubi实现分布式FlinkSQL网关

本文介绍了基于Kyuubi实现分布式Flink SQL网关的分享，包括Kyuubi是什么、架构设计、Flink与Kyuubi的优势等。Kyuubi作为分布式多租户SQL网关，具有水平拓展、多租户、高可用、多版本和动态资源配置等优势，可优化Flink的Application模式，提高实时计算和流批一体的性能。
头像海星之梦 发布于01月11日
90浏览

AI风暴来袭2025年数据平台的演进挑战与机遇

本文回顾了数据平台的发展趋势，预测了数据分析领域的三个发展趋向，包括计算引擎的一体化、湖仓一体的主流架构和云原生架构设计。同时，展望了数据AI平台领域的发展趋势，强调数据在AGI时代的重要性以及数据处理在AI全流程中的关键作用。文章还讨论了公共云的选择趋势。
头像海星之梦 发布于01月11日
215浏览

共创排行榜

锋哥聊数仓

关注最新数仓技术发展，使用及业务最佳实践加群请加35926237

1162
0

一臻数据

一臻数据致力于大数据AI时代的前沿内容分享，欢迎大家投稿，共建共进❗️内容来自公众号：一臻数据

2247
0

StreamPark文档

一个流处理应用程序开发管理框架，旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink® 和 Apache Spark™ 编写流处理应用的开发框架和一站式实时计算平台，核心能力包括不限于应用开发、部署、管理、运维、实时数仓等。

562
0

Flink面试大全

本专栏主要用于收集整理Flink面试相关内容，如有需要欢迎收藏。如有相关内容也欢迎分享或者在专栏内投稿，谢谢合作。

718
1

大数据组件调优

大数据组件调优整理。欢迎各路小白->大佬一起参与共建，收益共享。为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

1414
1

在线IDEA编辑器

记录一些日常的开发笔记

1101
1

Flink实战

本专栏旨在帮助初学者快速入门Flink，理解其核心概念和基础架构。

2211
2

Paimon初识

一个流数据湖平台，是Streaming 实时计算能力和 Lakehouse 新架构优势的结合，具有高速数据摄取、变更日志跟踪和高效的实时分析能力。

1605
1