随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

全文目录： 1. 大数据与 AI； 2. 大数据任务健康度评估； 3. Spark 任务智能调参； 4. SQL 任务执行引擎智能选择； 5. AI 算法在大数据治理中的应用展望

亚马逊是最早玩转物流大数据的电商企业：亚马逊在业内率先使用了大数据，人工智能和云技术进行仓储物流的管理。创新地推出预测性调拨、跨区域配送、跨国境配送等服务，不断给全球电商和物流行业带来惊喜。

和大家聊聊主数据的二三事~

讲座分为三部分内容： •用户画像群体服务的业务场景 •技术问题、思路与相关业界方案实现情况 •基于Doris的技术实现

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

12条SQL不起眼的数仓调优技巧

依旧是用户画像的项目，现在标签化的数据存放在hive中，而查询是要在hbase上进行查询，所以需要将hive的数据导入hbase中。

元数据管理是企业数据治理的基础，是数据仓库的提升。作为一名数据人，首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念，介绍元数据管理在数据仓库的地位、场景及工具。

作为一名平台工程师，深入研究 Flink 指标的应用以及 Flink 指标系统的架构与实践，让我受益匪浅。在这个过程中，我不仅汲取了优秀框架的设计理念，还从平台的视角更加全面地理解了 Flink 指标的实际应用，从而更深刻地理解了 Flink 指标背后的深层含义。

ClickHouse 是2016年开源的用于实时数据分析的一款高性能列式分布式数据库，支持向量化计算引擎、多核并行计算、高压缩比等功能，在分析型数据库中单表查询速度是最快的。2020年开始在滴滴内部大规模地推广和应用，服务网约车和日志检索等核心平台和业务。本文主要介绍滴滴日志检索场景从 ES 迁移到 CK 的技术探索。

当要对MySQL进行优化时，找到TOP SQL语句通常是第一步。这里介绍的使用不需要另外安装工具的找出需要优化的SQL的方法。 ● 从操作系统层监控到的最繁忙线程找出TOP SQL ● 慢查询日志 ● 性能视图 ● diagnostics()存储过程 ● ps_trace_statement_digest()存储过程 ● ps_trace_thread()存储过程

 博主认为作为初学spark，了解运行原理可以帮助后期排错，更有帮助。

工业大数据是指在工业领域，主要通过传感器等物联网技术进行数据采集、传输得来的数据，由于数据量巨大，传统的信息技术已无法对相应的数据进行处理、分析、展示，而在传统工业信息化技术的基础上借鉴了互联网大数据的技术，提出新型的基于数据驱动的工业信息化技术及其应用。

制造业的发展水平是一个国家经济实力的客观体现。近些年来，我国制造产业正在向着智能化和自动化方向发展，全球化智能工业技术网络开始在许多国家得到应用，预示着“再工业化”发展战略的实施。随着科学技术的高速发展和广泛应用，工业智能化背景下的大数据应用成为制造业转型发展的重要工具，是工业改革和产业革命的必然趋势。基于此，本文简单阐述大数据的概念和应用价值，详细分析大数据应用的困难和解决策略。

数据分析平台一直是大数据应用最基础、最核心的应用之一。相比于原有的传统BI软件和数据库提供分析能力有很多局限，例如：数据处理效率低，大数据处理能力不足以及无法和线上数据商业化应用推荐和服务打通等。iData作为游戏大数据分析系统，在服务腾讯海量的游戏产品过程中，经过多年的迭代和实践，形成iDataCharts大数据可视化和iDataEngin大数据分析引擎为核心能力的大数据分析系统。

在车联网生态中，TSP（Telematics Service Provider）平台在产业链中居于核心地位，上接汽车、车载设备制造商与网络运营商，下接内容提供商，是主机厂车辆与服务的核心数据连接平台。随着智能汽车的发展和车主用户对应用场景需求的不断提升，主机厂对 TSP 平台的设备与应用承载能力需求将不断增加。

信贷用户画像构建的核心目标是在深刻理解信贷业务需求和约束的基础上，将算法、大数据等专业知识转化为可操作的用户画像建设项目。利用人工智能和大数据技术，推动画像项目落地，并在核心业务场景中实现应用，以实现闭环效果。