1.什么是数据湖 2.数据湖的基本特征 3.数据湖基本架构

今天，跟大家分享一下kafka 的存储机制及如何根据 offset 查找消息的。

从A地到B地，我们首先想到的是乘坐什么交通工具，是坐车，坐船，还是坐飞机。遇到问题其实也是一样的，从问题的这头，到那头，也有很多的工具可以使用。选择对的工具，才能更加便捷轻松的解决问题？今天给大家聊聊帆软BI这款工具。

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

全文目录： 1. 大数据与 AI； 2. 大数据任务健康度评估； 3. Spark 任务智能调参； 4. SQL 任务执行引擎智能选择； 5. AI 算法在大数据治理中的应用展望

亚马逊是最早玩转物流大数据的电商企业：亚马逊在业内率先使用了大数据，人工智能和云技术进行仓储物流的管理。创新地推出预测性调拨、跨区域配送、跨国境配送等服务，不断给全球电商和物流行业带来惊喜。

和大家聊聊主数据的二三事~

讲座分为三部分内容： •用户画像群体服务的业务场景 •技术问题、思路与相关业界方案实现情况 •基于Doris的技术实现

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

12条SQL不起眼的数仓调优技巧

依旧是用户画像的项目，现在标签化的数据存放在hive中，而查询是要在hbase上进行查询，所以需要将hive的数据导入hbase中。

元数据管理是企业数据治理的基础，是数据仓库的提升。作为一名数据人，首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及工具。

作为一名平台工程师，深入研究 Flink 指标的应用以及 Flink 指标系统的架构与实践，让我受益匪浅。在这个过程中，我不仅汲取了优秀框架的设计理念，还从平台的视角更加全面地理解了 Flink 指标的实际应用，从而更深刻地理解了 Flink 指标背后的深层含义。

ClickHouse 是2016年开源的用于实时数据分析的一款高性能列式分布式数据库，支持向量化计算引擎、多核并行计算、高压缩比等功能，在分析型数据库中单表查询速度是最快的。2020年开始在滴滴内部大规模地推广和应用，服务网约车和日志检索等核心平台和业务。本文主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。

当要对MySQL进行优化时，找到TOP SQL语句通常是第一步。这里介绍的使用不需要另外安装工具的找出需要优化的SQL的方法。 ● 从操作系统层监控到的最繁忙线程找出TOP SQL ● 慢查询日志 ● 性能视图 ● diagnostics()存储过程 ● ps_trace_statement_digest()存储过程 ● ps_trace_thread()存储过程

 博主认为作为初学spark，了解运行原理可以帮助后期排错，更有帮助。

工业大数据是指在工业领域，主要通过传感器等物联网技术进行数据采集、传输得来的数据，由于数据量巨大，传统的信息技术已无法对相应的数据进行处理、分析、展示，而在传统工业信息化技术的基础上借鉴了互联网大数据的技术，提出新型的基于数据驱动的工业信息化技术及其应用。

制造业的发展水平是一个国家经济实力的客观体现。近些年来，我国制造产业正在向着智能化和自动化方向发展，全球化智能工业技术网络开始在许多国家得到应用，预示着“再工业化”发展战略的实施。随着科学技术的高速发展和广泛应用，工业智能化背景下的大数据应用成为制造业转型发展的重要工具，是工业改革和产业革命的必然趋势。基于此，本文简单阐述大数据的概念和应用价值，详细分析大数据应用的困难和解决策略。