博客园
最新
热门
发布
【HarmonyOS NEXT】华为分享-碰一碰开发分享
华为鸿蒙系统推出碰一碰分享功能,支持用户通过手机碰一碰实现跨端传输图片、共享WiFi等操作。开发者只需调用系统API传入参数即可拉起分享卡片模板,无需设计UI。
鸿蒙
碰一碰分享
HarmonyShare
ShareKit
跨端传输
华为分享
系统API
卡片模板
能不忆江南
发布于05月15日
66浏览
2点赞
1收藏
如何识别元数据:别让数据“裸奔”!3分钟教你识别元数据
元数据是描述数据的数据,提供数据的背景信息和属性,帮助理解和管理数据。常见元数据包括照片的EXIF信息、书籍的ISBN号、邮件的发件人等。元数据存在于业务系统、生产系统、数据库系统和支撑系统中,涵盖各类数据对象如文件、数据库表等。识别元数据需从应用系统、人工文件、BI/报表等来源提取,常用工具有ETL工具、数据建模工具等。元数据标准遵循国际或行业规范,组织可定制自身标准。
数据治理
数据字典
元数据
数据资产
数据治理
数据管理
数据分析狮
发布于05月15日
87浏览
京东物流基于Flink & StarRocks的湖仓建设实践
京东物流实时湖仓建设基于Flink和StarRocks技术栈,解决复杂业务场景下的实时数据处理挑战。通过分层架构设计(ODS/DWD/ADS/APP)和联邦查询支持多业务域(仓储、供应链、金融等),实现分钟级数据分析。存算分离方案优化长周期数据存储成本,冷热数据分层存储于本地磁盘与云端OSS。
Flink
StarRocks
实时湖仓
OLAP
Flink
StarRocks
数据分析狮
发布于05月14日
119浏览
为什么要做数据分析?一文详解5大数据分析方法
数据分析通过四大价值(科学决策、运营提效、增强竞争、推动创新)赋能企业,并借助描述性分析、相关性分析、回归分析、聚类分析、分类分析五大方法挖掘数据潜力。文章结合销售、客户、财务等场景方案,展示了如何将数据转化为 actionable insights,并以沃尔玛“啤酒与尿布”案例佐证数据驱动的商业价值。
数据分析
商业决策
数据挖掘
运营优化
市场趋势
客户洞察
财务分析
数据驱动
数据分析
数据分析狮
发布于05月13日
61浏览
从Excel到数据报告一步到位,这个AI绝了
数据工坊是一款零门槛智能数据分析工具,用户上传Excel/CSV文件即可自动生成含可视化图表和专业解读的完整报告,支持PDF导出。相比传统大模型需反复对话或手动排版,它通过端到端AI处理实现一键生成,覆盖职场周报、电商分析、学术调研等场景,显著提升效率。核心功能包括自动构建分析维度、分钟级报告生成及细节精准调校。
数据分析
AI应用开发
可视化图表
自动化报告
职场效率
数据分析
AI工具
数据分析狮
发布于05月13日
126浏览
如何让Ai生成数据分析报告?图文教程
数据工坊是一款基于大型语言模型(LLM)的AI助手,专为快速生成专业数据分析报告设计。用户只需上传Excel、CSV或JSON数据,AI自动生成分析维度并支持自定义调整,几分钟内即可输出包含图表和文字解读的报告。平台严格保障数据隐私,用户数据仅用于分析且可彻底删除。访问巨人肩膀官网(www.atbigapp.com)即可体验智能分析服务。
数据分析
AI应用开发
AI大世界
数据工坊
自动化报告
数据分析
数据分析狮
发布于05月06日
317浏览
16种竞品分析方法,数据产品经理必备
竞品分析是数据产品经理的核心技能,本文介绍了16种常见的竞品分析方法,包括表格分析法、功能拆解分析法、雷达图分析法、加减乘除分析法、波特五力模型分析法、PEST分析法、SWOT分析法、竞品画布分析法和矩阵分析法等。这些方法适用于不同场景,如功能对比、差异化创新、行业环境分析和战略制定等,帮助产品经理全面了解竞品,指导产品发展方向。
数据分析
竞品分析
产品经理
数据分析
数据分析狮
发布于04月25日
190浏览
全流程讲解完整数据分析
本文由支付产品经理分享从0到1搭建支付业务数据分析体系的实战经验,强调数据驱动决策的重要性。文章分为四部分:1. 数据分析的必要性(量化投资、验证产品、洞察用户、发现机会);2. 数据分析框架(数据生成、获取、建模、分析及应用);3. 数据指标体系设计(AARRR、UJM+OSM模型);4. 数据呈现方法。通过支付业务案例,阐述如何通过数据优化转化率、资源配置及用户画像,最终实现业务增长。
数据分析
数据驱动
数据指标体系
数据分析
数据分析狮
发布于04月25日
67浏览
数据分析不只是跑个SQL!
数据分析远不止SQL和可视化,而是一个从认识现状、原因分析、优化表现、预测走势到主动解读数据的完整闭环。真正的数据分析师需具备业务敏感度、数据思维和沟通能力,通过WHY-WHAT-HOW模型将数据转化为业务价值,而非简单执行需求。
数据分析
业务价值
WHY-WHAT-HOW
数据思维
数据分析
数据分析狮
发布于04月24日
85浏览
10种数据分析的模型思维让你“灵光一闪”
数据分析思维的核心在于模型化思考,本文介绍了10种常见的数据分析思维:分类思维(如RFM模型)、矩阵思维(如波士顿矩阵)、漏斗分析、相关思维、帕累托分析(二八法则)、逻辑树拆解、留存/队列分析、实验思维(AB测试)、聚类分析及指数化思维。这些方法帮助从数据中提炼关键信息,支持精细化运营与决策,但需结合实际业务灵活应用。
数据分析
数据思维
模型思维
数据分析
数据分析狮
发布于04月24日
55浏览
数据治理方法论和实践小百科全书
数据治理是从分散数据到统一管理的过程,涵盖数据获取、处理、使用的全生命周期,旨在提升数据质量、实现共享与价值挖掘。其核心目标包括制定政策、保障安全、促进共享(集团/政府)或通过精细化管理提升效率(业务部门)。治理框架含顶层设计、环境、治理域及PDCA过程,实施需具备“聚、治、通、用”四大能力,结合流程化、自动化、智能化方法。
数据治理
数据质量
数据安全
数据治理
数据分析狮
发布于04月23日
66浏览
如何识别元数据:一张图玩转元数据相关概念
本文系统介绍了元数据及其相关概念,包括数据元、数据项、数据元素、数据结构、数据元标准、数据对象、数据模型、元模型、数据字典和数据标准等。通过制造业项目实例,解析了三张主数据表(物料、固定资产、人员)中的数据关系,帮助理解元数据在数据治理中的核心作用。元数据作为数据管理的基石,确保数据一致性、准确性和完整性,为数据治理项目奠定基础。
数据治理
数据字典
元数据
数据标准
数据治理
数据管理
数据分析狮
发布于04月22日
59浏览
Apache Paimon大厂面试题必备-进阶篇
Paimon通过快照文件保证数据的时效性与一致性,时效性受Flink检查点间隔影响,建议设置为1-10分钟。一致性通过两阶段提交协议实现,支持Snapshot Isolation级别。Paimon提供快照过期和分区过期机制清理旧数据,支持同步和异步两种过期模式,各有优劣势。
Paimon
流批一体
湖仓一体建设
Paimon
我不是超人
发布于04月22日
269浏览
Apache Paimon大厂面试必备系列-基础篇
Apache Paimon是流批统一的实时数据湖存储格式,实现高效写入与查询。核心能力包括实时入湖、流批一体处理、多生态集成及高效查询。提供主键表(支持更新/删除)和Append表(仅追加)两种类型,通过分桶(Bucket)优化存储与并行度。支持动态分桶、跨分区更新及多种合并机制。文件结构包含快照、清单及LSM数据文件,采用乐观并发控制。压缩策略包括异步压缩与全量压缩,平衡读写性能。
Paimon
Apache Paimon
流批一体
实时计算
我不是超人
发布于04月22日
387浏览
效率神器:程序员必备的在线工具合集(下)
本文介绍了文件类、编码类和开发类的高效工具,包括Parquet、Json、Orc、Avro文件解析工具,支持元数据提取和Excel转换;Hex16进制、MD5、Base64等编解码工具;以及正则开发、JSON处理、时间戳转换等开发类工具,助力程序员提升工作效率。
AI应用开发
文件解析
编解码
开发工具
程序员工具
效率提升
我不是超人
发布于04月21日
83浏览
效率神器:程序员必备的在线工具合集(上)
本文介绍了一款程序员必备的在线工具合集,涵盖SQL、优化、命令等多个领域,提供可视化界面和一键操作,简化编程和数据处理任务。重点介绍了SQL类工具(如Doris/StarRocks建表语句、Flink SQL Connector)、优化类工具(如Flink内存优化)及命令类工具(如Flink启动命令、curl请求),帮助开发者提升工作效率。
AI应用开发
程序员必备
效率神器
在线工具
我不是超人
发布于04月21日
72浏览
vivo 湖仓架构的性能提升之旅
vivo大数据平台面临Presto和ClickHouse在多维分析场景的性能与兼容性挑战,最终选择StarRocks作为新一代引擎。通过优化ORC格式支持、数据缓存、HDFS慢节点处理及元数据刷新机制,显著提升查询性能。StarRocks的强兼容性、资源隔离和运维便捷性有效替代原有组件,实现湖仓加速统一标准。
数据仓库/中台
数据分析狮
发布于04月21日
192浏览
从 Spark 到 StarRocks:实现58同城湖仓一体架构的高效转型
58集团数据探查平台通过引入StarRocks引擎实现Ad-Hoc查询10倍性能提升,日均处理6.5万条SQL,平均响应时间降至3.3秒。通过语法兼容改造、元数据缓存优化、函数兼容性处理及容器化部署方案,解决了Spark与StarRocks的兼容性问题,并实现98%以上的查询成功率。后续将探索智能物化视图进一步提升查询效率。
数据仓库/中台
数据分析狮
发布于04月21日
208浏览
超全面数仓建设规范指南(干货建议收藏)
本文详细介绍了企业数据仓库(数仓)和中台建设的规范与最佳实践,基于OneData体系,涵盖数据模型设计、分层架构(ODS、CDM、ADS)、公共规范、指标定义等核心内容。强调高内聚低耦合、核心与扩展模型分离、成本与性能平衡等原则,并提供分层调用、数据类型、冗余与拆分等实操指南。通过标准化指标体系和命名约定,确保数据一致性、可复用性及高效管理,助力企业构建高质量数仓体系。
数据仓库/中台
数据中台
OneData
数据仓库
维度建模
我不是超人
发布于04月19日
180浏览
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程详细介绍了如何使用Flink CDC YAML快速构建MySQL到Kafka的Streaming ELT作业,包括整库同步、表结构变更同步演示和关键参数配置。从Flink集群部署、Docker环境准备、MySQL数据初始化,到通过Flink CDC CLI提交任务并验证数据同步效果,完整演示了实时数据同步流程。教程还展示了表结构变更的实时同步能力,以及通过路由配置实现表名映射等特色功能。
Flink
Flink CDC
实时同步
Kafka
我不是超人
发布于04月19日
64浏览
1
21
22
23
24
25
82