五、页面功能介绍

Atlas的页面功能非常的丰富，可以进行元数据的管理及数据血缘的展示。

主界面

887e5cab34ed990ceb745b772805baeb_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.webp

Search

89c315639c9917819fd8f2cde166dd24_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.webp

基本搜索

基本搜索允许您使用实体的类型名称，关联的分类/标记进行查询，并且支持对实体属性以及分类/标记属性进行过滤。

可以使用 AND/OR 条件对多个属性进行基于属性的过滤。

96fb597e8633d25adedacdfe652bbbe8_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

fc185926e9d47006fb1489d069aa903e_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

293125af4c73c57915c8946ab454d8ca_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.webp

支持的过滤运算符

LT（符号：<, lt）适用于数字、日期属性
GT（符号：>、gt）适用于数字、日期属性
LTE（符号：<=, lte）适用于数字、日期属性
GTE（符号：>=，gte）适用于数字、日期属性
EQ（符号：eq、=）适用于数字、日期、字符串属性
NEQ（符号：neq、!=）适用于数字、日期、字符串属性
LIKE（符号：like、LIKE）与字符串属性一起使用
STARTS_WITH（符号：startsWith、STARTSWITH）与字符串属性一起使用
ENDS_WITH（符号：endsWith、ENDSWITH）与字符串属性一起使用
CONTAINS (symbols: contains, CONTAINS) 使用 String 属性

高级搜索

Atlas 中的高级搜索也称为基于 DSL 的搜索。

领域特定搜索 (DSL) 是一种结构简单的语言，该语法模拟了关系数据库流行的结构化查询语言 (SQL)。

具体语法请参考Github上的Atlas DSL Grammer （Antlr G4格式）。

例：要检索名称可以是 time_dim 或 customer_dim 的 Table 类型的实体：

from Table where name = 'time_dim' or name = 'customer_dim'

Classification

分类传播使与实体相关联的分类能够自动与该实体的其他相关实体相关联。这在处理数据集从其他数据集派生数据的场景时非常有用。

e5f027825b697becc4aa2d00494cdb86_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

为实体添加分类

将分类“PII”添加到“hdfs_path”实体后，该分类将传播到沿袭路径中的所有受影响实体，包括“员工”表、视图“us_employees”和“uk_employees” - 如下所示。

65a073b33f5ec7e2caf049b9d3a88f4d_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

更新与实体关联的分类

与实体关联的分类的任何更新也将在分类传播到的所有实体中看到。

e58577519ab819bedbc547df4bdf524c_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.webp

简单的说，此功能可以监控数据到底流向了哪里。

glossary

词汇表，也称术语表为业务用户提供适当的词汇表，它允许术语（词）相互关联并分类，以便在不同的上下文中理解它们。然后可以将这些术语映射到数据库、表、列等资产。这有助于抽象与存储库相关的技术术语，并允许用户发现/使用他们更熟悉的词汇表中的数据。

64b67e86e3ac608e72b8995747fcd020_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

通过单击词汇表 UI 中的术语名称，可以查看术语的各种详细信息。详细信息页面下的每个选项卡提供该术语的不同详细信息。

c926a8b6c6fe7dbc773911bb62440530_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

当切换开关在类别上时，面板将列出所有词汇表以及类别层次结构。这是此视图下可能的交互的列表。

70f08ba8a5d36d1648532622154e797b_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

如果一个术语具有分类，则该实体已被分配继承相同的分类。

859ce228813e6280eda23f37a1d9e657_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

通过术语表的功能，让数据资产与业务系统建立了联系。

六、Hive数据血缘

Hive2兼容性问题

Atlas与Hive存在兼容性问题，本文基于Atlas2.1.0兼容CDH6.3.2部署。Hive版本为2.1.1.其他版本的问题不在此文档讨论。

为兼容Hive2.1.1，需要修改源码重新编译。

所需修改的项目位置：apache-atlas-sources-2.1.0\addons\hive-bridge

①.org/apache/atlas/hive/bridge/HiveMetaStoreBridge.java 577行

String catalogName = hiveDB.getCatalogName() != null ? hiveDB.getCatalogName().toLowerCase() : null;

改为：

String catalogName = null;

②.org/apache/atlas/hive/hook/AtlasHiveHookContext.java 81行

this.metastoreHandler = (listenerEvent != null) ? metastoreEvent.getIHMSHandler() : null;

改为：C:\Users\Heaton\Desktop\apache-atlas-2.1.0-sources\apache-atlas-sources-2.1.0\addons

this.metastoreHandler = null;

集成Hive

将 atlas-application.properties 配置文件，压缩加入到 atlas-plugin-classloader-2.0.0.jar 中

#必须在此路径打包，才能打到第一级目录下cd /usr/local/src/atlas/apache-atlas-2.1.0/confzip -u /usr/local/src/atlas/apache-atlas-2.1.0/hook/hive/atlas-plugin-classloader-2.1.0.jar atlas-application.properties

修改 hive-site.xml

4f3758b444a620e0873a39a0bf6993e1_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

修改 hive-env.sh 的 Gateway 客户端环境高级配置代码段（安全阀）

41933acc16fd212a990774eaa55cd84a_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive

修改 HIVE_AUX_JARS_PATH

6993294903f3c6b7d87b3122efabf36d_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

修改 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）

759e41759a07f02becff4be2d3297e10_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>
<property>
    <name>hive.reloadable.aux.jars.path</name>
    <value>/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive</value>
</property>

修改 HiveServer2 环境高级配置代码段

dc7fc4c5fc74f5de2d5185d46cb3b0fb_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.1.0/hook/hive

需要将配置好的Atlas包发往各个hive节点后重启集群。

导入Hive元数据

执行atlas脚本

./bin/import-hive.sh#输入用户名：admin；输入密码：admin

登录Atlas查看元数据信息。

测试实时hive hook

简单执行一个hera资源统计的hive脚本

use sucx_test
;

-- 昨日升级设备数
create table if not exists qs_tzl_ProductTag_result(
pid string
,category string
,category_code string
,tag_name string
,tag_value string
,other string
,update_time string
)
partitioned by (tag_id string)
STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY')
;


insert overwrite table qs_tzl_ProductTag_result partition(tag_id='3014')
select
       T1.product_id as pid
       ,T2.category
       ,cast(from_unixtime(unix_timestamp()) as string) as update_time
from (select
             product_id
      from COM_PRODUCT_UPGRADE_STAT_D where p_day='20200901' 
     ) T1
left join (select category
        from bi_ods.ods_smart_product where dt='20200901'
        ) T2
on T1.product_id=T2.id
;

执行后查看 qs_tzl_ProductTag_result 的表级血缘为

7918d9d86b21aea023058b4d59620c75_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png

pid 的字段血缘为

c7a59e89281c04005bb21b594653e621_640_wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp.png