无匹配社区

博客园

请选择社区

Apache SeaTunnel-OLAP 引擎的数据动脉

主要内容包括以下六大部分: 1. Apache SeaTunnel 项目介绍 2. Apache SeaTunnel 核心功能 3.SeaTunnel 在 OLAP 场景下的应用 4. 社区近期计划 5. WhaleTunnel 产品特性 6. 问答环节
SeaTunnel
头像
Dataops 发布于 2024年08月08日
311浏览1点赞

对数据中台的梳理与思考

Gartner:《数据中台在中国已经接近炒作的顶峰》 PowerData:接近顶峰?那就说明还有上升的空间嘛 本篇文章聊聊数据中台爆火背后的逻辑。
PowerData
头像
PowerData 发布于 2024年08月08日
198浏览2点赞

全面介绍 Apache Doris 数据灾备恢复机制及使用示例

Apache Doris 作为一款 OLAP 实时数据仓库,在越来越多的中大型企业中逐步占据着主数仓这样的重要位置,主数仓不同于 OLAP 查询引擎的场景定位,对于数据的灾备恢复机制有比较高的要求,本篇就让我们全面的介绍和示范如何利用这些特性能力构建集群数据的灾备恢复机制。
DorisPowerData
头像
苏奕嘉 发布于 2024年08月08日
885浏览4点赞

中电信翼康济世数据中台基于Apache SeaTunnel构建数据集成平台经验分享

Apache SeaTunnel作为一个高效、灵活的数据集成平台,在数据中台战略中扮演着重要角色。通过本文的介绍,读者可以了解如何基于SeaTunnel快速搭建数据集成平台,并在实际应用中灵活运用。未来,随着技术的不断发展,SeaTunnel将继续在数据集成领域发挥重要作用,助力企业实现数据驱动的业务变革。
SeaTunnel
头像
Dataops 发布于 2024年08月07日
231浏览

B站基于DolphinScheduler的一站式大数据集群管理平台(BMR)初窥

大数据服务是数据平台建设的基座,随着B站业务的快速发展,其大数据的规模和复杂度也突飞猛进,技术的追求也同样不会有止境。 B站一站式大数据集群管理平台(BMR),在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。
Dolphinscheduler实践
头像
Dataops 发布于 2024年08月07日
133浏览

DolphinScheduler 3.2.0生产级集群搭建

导读:通过简化复杂的任务依赖关系, DolphinScheduler为数据工程师提供了强大的工作流程管理和调度能力。在3.2.0版本中,DolphinScheduler带来了一系列新功能和改进,使其在生产环境中的稳定性和可用性得到了显著提升。
Dolphinscheduler运维
头像
Dataops 发布于 2024年08月07日
338浏览

Dolphinscheduler Docker部署全攻略

Docker部署的目的是在容器中快速启动部署Apache Dolphinscheduler服务。
Dolphinscheduler运维
头像
Dataops 发布于 2024年08月07日
239浏览

Apache DolphinScheduler 3.2.2 版本正式发布!

近日,Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复,新增若干特性,并进行了众多改进和 Bug 修复,以及文档修复等
Dolphinscheduler
头像
Dataops 发布于 2024年08月07日
62浏览

Apache DolphinScheduler Worker Task执行原理解析

大家好,我是蔡顺峰,是白鲸开源的高级数据工程师,同时也是Apache DolphinScheduler社区的committer和PMC member。今天我要分享的主题是《Worker Task执行原理》。
Dolphinscheduler
头像
Dataops 发布于 2024年08月07日
152浏览

Apache DolphinScheduler 1.3.4升级至3.1.2版本过程中的踩坑记录

因为在工作中需要推动Apache DolphinScheduler的升级,经过预研,从1.3.4到3.1.2有的体验了很大的提升,在性能和功能性有了很多的改善,推荐升级。 查看官方的升级文档,可知有提供升级脚本,如果只是跨小版本的更新那么只用执行脚本就好了,但跨多个大版本升级时依然容易出现各种问题,特此总结。
Dolphinscheduler
头像
Dataops 发布于 2024年08月07日
45浏览

Apache Dolphinscheduler在某新能源企业的落地与实践

我司中创新航(CALB),是全球领先的新能源科技企业 ,致力于成为能源价值创造者,构建全方位能源运营体系,为以动力及储能为代表的新能源全场景应用市场提供完善的产品解决方案和全生命周期管理。
Dolphinscheduler
头像
Dataops 发布于 2024年08月07日
161浏览1点赞

如何封装 websocket 以支撑不同业务的消息即时通讯?

公司之前很多涉及到后端需要主动与前端web交互的业务,代码耦合严重,新的业务场景需要即时通信的得重新接入websocket,花费很多时间和精力,因此需要将websocket(缩写为:ws)抽象为公司内部的通讯服务,可以解决业务不同需求.
头像
忆往昔 发布于 2024年08月06日
234浏览

掌握Golang中的Defer, Panic和Recover

Golang中的Defer、Panic和Recover机制提供了一种灵活且强大的错误处理方式。合理使用这些机制,可以确保程序在面对异常时保持稳定,并进行必要的资源清理。通过深入理解和实践这些机制,开发者可以编写出更健壮、更可靠的Go程序。
Golang
头像
忆往昔 发布于 2024年08月06日
170浏览

2.3.6版本发布!Apache SeaTunnel Zeta引擎迎来新架构!

Apache SeaTunnel 2.3.6 版本于近日正式发布,社区期待的 SeaTunnel Zeta Master/Worker 新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库 Milvus。此外,本版本还进行了一些基础性的 Bug 修复和文档修复等,欢迎尝试使用!
SeaTunnel
头像
忆往昔 发布于 2024年08月06日
196浏览1点赞

京东零售数据湖应用与实践

当前企业数据处理广泛采用 Lambda 架构。Lambda 架构的优点是保证了数据的完整性,但缺点是系统的复杂性较高,需要维护两套系统,并且服务层的复杂合并逻辑可能会导致延迟。为了解决数据的完整性和实时性之间的矛盾,京东零售在数据架构上做出了一系列的革新。
Hudi数据湖数据平台架构数据仓库/中台
头像
海星之梦 发布于 2024年08月05日
273浏览1点赞

如何基于 Apache SeaTunnel 构建高效数据同步管道

Apache SeaTunnel是一站式数据集成平台,支持离线和实时数据同步,提供了灵活的扩展和高效的并行处理,确保数据一致性。 本文介绍了SeaTunnel的架构设计、核心功能、最佳实践以及如何参与社区共建,帮助用户快速上手并深入了解其强大功能。
SeaTunnel
头像
忆往昔 发布于 2024年08月05日
588浏览3点赞

【消遣阅读】为什么很多人会说:科学的尽头是神学??

为什么很多人会说:科学的尽头是神学??
头像
忆往昔 发布于 2024年08月04日
118浏览2点赞

Apache Doris + Apache Iceberg 快速搭建指南|Lakehouse 使用手册(三)

湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
Doris
头像
忆往昔 发布于 2024年08月04日
176浏览1点赞

官宣|Apache Flink 1.20 发布公告

Apache Flink PMC(项目管理委员)很高兴地宣布发布 Apache Flink 1.20.0。与往常一样,这是一个充实的版本,包含了广泛的改进和新功能。总共有 142 人为此版本做出了贡献,完成了 13 个 FLIPs、解决了 300 多个问题。感谢各位贡献者的支持!
Flink
头像
海星之梦 发布于 2024年08月02日
674浏览1点赞

一文读懂车联网V2X通信技术

车联网技术是车辆信息化的核心内容,是互联网、车际网V2X和车内网技术一体化发展的必然结果。今后,随着5G技术在V2X的运用,V2X通信技术能够实现更加安全、高效、便捷的驾驶体验,同时也是未来高度自动驾驶的基础支撑,是汽车产业融入万物互联时代的重要途径。相信车辆全面智能化、网联化已为时不远了。
车联网
头像
数智先锋 发布于 2024年08月02日
403浏览2点赞
1 313233343572

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1