数智先锋
的博客园
(12)
java 地理围栏 R树索引加速判断(RTree-Multi)
在处理大量空间数据时,如何高效地判断一个点是否在一个地理围栏内是一个常见的需求。传统的方法是使用点和多边形之间的关系算法,但是当数据量大时,这种方法的性能会变得很低。为了解决这个问题,可以使用 R 树索引来加速判断。
物理围栏/电子围栏
Kafka
Flink
数智先锋
发布于2024年04月15日
75浏览
数据分析领域很火的指标中台是什么
指标平台,这个概念现在很火,小伙伴让来讲下,本文就来说说这个概念,以及这个概念在目前一些 BI 体系下,可以怎么结合。
指标中台
数据仓库/中台
数智先锋
发布于2024年04月11日
23浏览
滴滴大数据资产治理实践
数据资产治理是大数据应用中的重要一环。有效的数据治理可以降本增效,提升数据利用效率。数据治理还需要平台化工具来辅助。本文将介绍滴滴出行在大数据资产治理方面的实践。 今天的介绍会围绕下面五方面展开: 1. 滴滴大数据资产管理平台 2. Hadoop 治理实践 3. ES 治理实践 4. 未来规划 5. 问答环节
Hadoop
Elasticsearch
数据治理
数智先锋
发布于2024年04月10日
26浏览
linux内核常用调优参数
linux内核常用调优参数。
Linux
数智先锋
发布于2024年03月31日
31浏览
1点赞
基于Kafka->Flink+Drools支持动态规则的设备实时告警系统
目前常见的大数据告警系统更多是基于SparkStreaming+Drools,其实时性是基于微批实现时延相对较高,不支持广播流告警规则的更新只能依赖于广播变量定时更新,且不支持状态计算将不得不引入外部存储如Redis因此降低了系统的吞吐量同时也增大了系统的复杂度。新一代的分布式处理引擎Flink是基于事件驱动且可进行状态计算,大大提高了数据处理能力和简化了平台的复杂度。
基于Flink+Drools可自定义规则的实时告警系统
车联网大数据
游戏大数据
智能制造大数据
新零售大数据
物流大数据
金融大数据
Flink
Drools
数智先锋
发布于2024年03月30日
67浏览
2点赞
数智化赋能之构建数字化企业架构
企业数字化转型核心目的是利用数字化技术让业务在线,利用大数据、快数据等技术充分挖掘数据价值,驱动业务的创新性发展,从而创造或重构一个新的商业模式,以适应不断变化的市场。 多数企业在数字化转型投入大量的财力人力物力之后,仍然遭遇到失败延迟或预期降低的情况。为什么企业数字化转型往往后劲力量越来越薄弱,无法达到预期效果,问题可能出在根基上。
数智化
数智先锋
发布于2024年03月28日
15浏览
1点赞
Linkis 简述
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通,以及通过REST标准接口提供了数据源管理和数据源对应的元数据查询服务。 作为计算中间件,Link
Linkis
数智先锋
发布于2024年03月27日
18浏览
Apache Doris取代ClickHouse、MySQL、Presto和HBase
Apache Doris 可以取代 ClickHouse、MySQL、Presto 和 HBase,因为它在数据处理管道上拥有全面的功能集合。在数据摄取方面,基于对 Flink CDC 和 Merge-on-Write 的支持,实现了低延迟实时写入。通过其标签机制和事务加载来保证 Exactly-Once 写入。在数据查询方面,它同时支持星型模式和平面表聚合,因此在麻烦的多表连接和大型单表查询中都
Doris
Clickhouse
MySQL
Hbase
数智先锋
发布于2024年03月27日
69浏览
一文掌握ClickHouse
ClickHouse 是Yandex开源的一个用于实时数据分析的基于列存储的数据库,其处理数据的速度比传统方法快100-1000 倍。 ClickHouse的性能超过了目前市场上可比的面向列的 DBMS,每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。
Clickhouse
数智先锋
发布于2024年03月26日
17浏览
数据管理、数据治理、数据资产管理,到底有何不同?
数据治理、数据管理、数据资产管理,有什么不同?这是一个我被问的最多的问题。
数据治理
数智先锋
发布于2024年03月26日
27浏览
1点赞
1
2