博客园

Celeborn Spark 集成最新进展

目前,Celeborn 已成为最受欢迎的 Remote Shuffle Service。许多国内外大厂已经在使用 Celeborn,除了阿里云、小红书、B站、Shopee、蔚来等已经登记的用户,也有部分用户出于各种因素暂未正式登记。
Celeborn
头像车车 发布于01月02日
262浏览 1点赞

年终长文15000字:学习的终结(The End of Learning)——从ChatGPT到未来

在历史长河的一隅,从远古时代祖先传承火种的教导,到现代互联网无垠知识的星辰大海,学习一直是人类不可或缺的生存技巧。
AI应用开发
头像忆往昔 发布于01月01日
65浏览 1点赞

惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉

惊险一刻!2024跨年夜里:数据中心突然宕机,Doris CCR却让客户毫无察觉
Doris介绍深度解析集群运维
头像张彬华 发布于2024年12月31日
149浏览 1点赞

【HarmonyOS NEXT】鸿蒙 ArkTS 进行RSA数据加密

鸿蒙
头像能不忆江南 发布于2024年12月30日
108浏览

【HarmonyOS NEXT】 ArkUI常用布局及组件库介绍

鸿蒙
头像能不忆江南 发布于2024年12月30日
139浏览

【HarmonyOS NEXT】Tabs组件实现类微信(可滑动的)tabBar页签切换页面功能

鸿蒙
头像能不忆江南 发布于2024年12月30日
115浏览

【HarmonyOS NEXT】一多开发介绍(断点、媒体查询、栅格布局)

鸿蒙
头像能不忆江南 发布于2024年12月30日
100浏览

【HarmonyOS NEXT】lv-markdown-in 三方库用法说明

鸿蒙
头像能不忆江南 发布于2024年12月30日
86浏览 1点赞

【HarmonyOS NEXT】hdc环境变量配置

鸿蒙
头像能不忆江南 发布于2024年12月30日
134浏览

解决Redis缓存数据类型丢失问题

文章讲述在通用数据开放平台中,新接口开启缓存后报错,经排查是 Redis 缓存数据类型丢失所致。分析发现问题源于 Redis 序列化和反序列化,最终通过自定义序列化器解决,即在写入和读取时处理 Date 类型,同时指出当前判断逻辑有待优化。
RedisJava数据结构和算法
头像图南 发布于2024年12月30日
65浏览 1点赞

StarRocks元数据无法合并BUG原理与解决

StarRocks 集群运行几个月后崩溃,元数据很久未合并,恢复时发现 FE 元数据无法 Checkpoint。排查发现是配置 metadata_journal_skip_bad_journal_ids 导致,相关 bugfix 未合并进出问题版本,升级版本后解决,成功生成新 image 文件,BDB 文件数量大幅减少。
StarRocks
头像图南 发布于2024年12月30日
140浏览

数据同步方式的变迁

本文深入探讨了博主亲身参与并实践的四代数据同步技术方案。文章不仅追溯了每一代方案的诞生背景,还详尽阐述了它们的设计细节和实施过程。从2020年起步的第一代方案,该方案依托于强大的Spark框架,到最新的第四代方案,该方案采用了先进的CDC(Change Data Capture)技术,每一代方案都在实际应用场景中得到了充分的测试和验证。
PowerData大数据启示录
头像图南 发布于2024年12月30日
147浏览

paimon-flink-action同步数据到Paimon

湖仓一体之paimon-flink-action同步数据到Paimon
大数据启示录FlinkDinkyPaimonStarRocks
头像林深见鹿 发布于2024年12月30日
396浏览

Flink CDC+Dinky整库同步到paimon

湖仓一体之Flink CDC+Dinky整库同步到paimon
大数据启示录DinkyPaimonFlink
头像林深见鹿 发布于2024年12月30日
183浏览

如何解决Flink广播流滞后于数据流抵达问题

flink专业问题咨询和解决
Flink数据分析
头像林深见鹿 发布于2024年12月30日
101浏览

dolphinscheduler分布式集群部署指南(小白版)

dolphinscheduler-3.2.2-release版本源码系列之RPC框架专栏,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
Dolphinscheduler
头像如风掠过指尖 发布于2024年12月27日
373浏览

dolphinscheduler集群服务一键安装启动实现流程剖析

dolphinscheduler-3.2.2-release版本源码系列,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
Dolphinscheduler
头像如风掠过指尖 发布于2024年12月27日
105浏览

dolphinscheduler服务RPC框架源码解析(一)RPC框架整体设计

dolphinscheduler-3.2.2-release版本源码系列之RPC框架专栏,帮助大家深入了解和更好的使用Dolphinscheduler整合现有业务开发。
Dolphinscheduler
头像如风掠过指尖 发布于2024年12月27日
126浏览

美国陆军统一数据参考架构

美国陆军当前的数据架构过于复杂,严重阻碍了该军种的决策优势。为应对这一挑战,美国陆军于2024年3月22日正式发布了《美国陆军统一数据参考架构》1.0版本,旨在简化数据架构,精简数据产品,促进其与任务伙伴共享数据产品。该文件所定义的统一数据参考架构,为数据网格原则的系统级实施提供了指导,将使美国陆军的数据治理更高效、更有效,同时促进美国陆军采办“以数据为中心”的能力,提高美国陆军作为联盟、联合作战
数据治理
头像车车 发布于2024年12月24日
131浏览

AI Agent智能体产品的5个级别

OpenAI发布了其根据自身技术研发与产品开发的通往AGI的五级量表。OpenAI 将 AI 开发分为五个阶段,每个阶段代表更高级的能力水平
AI应用开发
头像车车 发布于2024年12月24日
356浏览
1 313233343582

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1