Apache Flink 社区非常高兴地宣布，Flink CDC 3.2 系列的第一个稳定性修复版本 3.2.1 已经正式发布。

早期，同程旅行的数仓体系基于 Hive 来实现离线数据分析，在满足用户实时需求方面存在不足。为了解决这一问题，我们引入了 Apache Kudu 组件，将 ODS 层的数据同时写入 Hive 和 Kudu。由于 Kudu 不支持流式读取，我们通过 Spark 读取Kudu进行下游处理，以 10 分钟或 1 小时为周期调度任务，将处理后的数据写回 Kudu 表。

网上关于大模型的文章也很多，但是都不太容易看懂。小枣君今天试着写一篇，争取做到通俗易懂。

今天来分享 6 个只有中国人才懂的前端工具库，这些工具在特定场景下非常有用！

Hadoop3.4或者 hive4在jdk17运行报错 module java.base does not “opens java.net“ to unnamed module @305fd85d

💡 JuiceFS 是一款高性能、云原生分布式文件系统，拥有企业版与社区版两个版本。 企业版：面向海量文件、高性能应用场景，如 AI 模型训练、大数据平台分布式计算、高性能计算。 企业可采用云服务版或者本地部署。社区版：面向通用场景，易于维护和使用，方便定制化，适合热衷参与开源社区建设的团队。在 Apache 2.0 协议下发布，目前有约 10.8K GitHub 星标 。

编者荐语： 我超哥嘎嘎能写，写到凌晨3点44，超哥牛的，支持云邪偶像的Fluss

跨境电商数据分析常常面临着数据的海量增长、多平台运营的复杂性、以及跨国交易的多变性等问题。这也导致从事跨境电商的朋友在分析数据时饱受困扰。但其实只要明确了思路，选对了工具，也可以实现高效的跨境电商数据分析。下面老李就结合我个人的从业经验，为大家系统说明一下跨境电商分析的思路和步骤。

Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台

Fluss 项目是由阿里云智能 Flink 团队研发的一款面向流分析的下一代流存储，旨在解决流存储在分析方面长期存在的挑战。Fluss 的项目定位是为 Apache Flink 提供实时流存储底座，进一步提升 Flink 实时流计算的能力。因此，Fluss 的名字源自“FLink Unified Streaming Storage” 的首字母缩写。

Apache Celeborn 是一个统一的大数据中间服务，致力于提高不同MapReduce引擎的效率和弹性。为了Spark on Kubernetes的弹性以及解决External Shuffle Service的灵活性和稳定性不足，eBay引入 Celeborn 作为Remote Shuffle Service。本文介绍了eBay基于最新 RESTful API 进行自动化管理Celeborn

StarRocks 社区的年度盛会——StarRocks Summit Asia 2024 将于 12 月 7 日在北京隆重登场！ StarRocks 社区作为连接用户、平台方、业务方、技术爱好者与学术人员的开放平台，始终致力于打造标准化的行业解决方案，让每一位参与者都能在实践中汲取经验，在交流中碰撞创新。

在软件开发领域，代码仓库的管理方式对项目的效率和协作有着重要影响。 随着项目结构的日益复杂和开发挑战的不断增长，传统的单一代码库（Monolith）在应对多项目、多库和多服务的情况下显得力不从心，正是在这个背景下，Monorepo（微服务大仓）和Multirepo（微服务多仓）的概念应运而生。

如果说互联网的目标就是连接一切，那么推荐系统的作用就是建立更加有效率的连接，推荐系统可以更有效率的连接用户与内容和服务，节约了大量的时间和成本。 如果把推荐系统简单拆开来看，推荐系统主要是由数据、算法、架构三个方面组成。

随着 Apache Doris 项目的火热，很多想尝鲜或者试用的小伙伴都希望通过 Docker 来快速拉起一个功能测试或者开发的集群，但由于一些变更原因，Doris On Docker 这一块的内容还未来得及调整完，所以为了让更多的小伙伴不卡在快速使用的路上，特此出一版教程给大家快速拉起试用。

Apache Flink 社区正在积极准备 Flink 2.0，这是自 Flink 1.0 发布 8 年以来的首次大版本发布。作为一个重要的里程碑，Flink 2.0 将引入许多激动人心的功能和改进，以及一些不兼容的破坏性变更。为了促进用户和上下游项目（例如，连接器）尽早适配这些变更，提前尝试这些令人兴奋的新功能同时收集反馈，我们现在提供了 Flink 2.0 的预览版本。

大数据引擎的中间数据有两个来源: Shuffle 和 Spill，其中最重要的是 Shuffle，据统计有超过 15%的资源消耗在 Shuffle。

知乎Hadoop集群上每天运行着大量的Spark作业，包括调度平台提交的例行作业、Kyuubi提交的Spark SQL作业，每天Spark作业的Shuffle量达到3PB以上，单个Spark作业Shuffle量最大接近100TB，单个Stage 50TB。同时Hadoop集群上每天有1PB左右的MR作业Shuffle，以及DataNode的磁盘IO。

解析 Apache SeaTunnel 的任务运行过程，欢迎交流。

VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。