博客园
最新
热门
发布
Apache Paimon:Streaming Lakehouse is Coming
Paimon 是流批一体的湖存储格式,首先它只是一个文件格式,只是一堆代码将数据存储在 OSS 或者 HDFS 上,没有任何的服务。 可以使用 Flink CDC 来一键入湖到 Paimon 中,也可以通过 Flink SQL 或 Spark SQL 来批写、流写到 Paimon 当中。Paimon 也支持主流开源引擎,包括几乎现在所有的开源引擎。最后,Paimon 也可以被 Flink 或 Spark 流读,这也是它作为流式数据湖的特有能力之一。
忆往昔
发布于2024年01月09日
1浏览
Apache Doris 数仓使用规范(经验版)
Apache Doris 数仓使用规范(经验版)Apache Doris 数仓使用规范(经验版)Apache Doris 数仓使用规范(经验版)
atbigapp.com
发布于2024年01月04日
1浏览
DolphinScheduler×长安汽车 | 千万级数据接入能力智能网联汽车云平台引进核心调度系统
长安汽车智能车云平台,网联车日活达百万级,车联网平台日均接收信号条数达百亿级。面对海量车联网数据分析的挑战,长安汽车建设了一套具备千万级数据接入能力的智能网联汽车云平台。为保证智能汽车数据类业务的开展,长安汽车从初试到深度使用(1.1.0开始投产),选择DolphinScheduler作为数据平台的核心调度系统,实现数据任务的灵活编排、调度,赋能智能汽车产品研发、故障诊断等业务。
atbigapp.com
发布于2024年01月04日
Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架
Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。Flink CDC 社区发展迅速,在开源的三年时间里,社区已经吸引了 111 位贡献者,培养了 8 位 Maintainer,社区钉钉用户群超过 9800 人。
atbigapp.com
发布于2024年01月03日
Dinky 1.0 前瞻体验,全新而来
什么是 Dinky: Dinky 是一个开箱即用 、易扩展 ,以 Apache Flink 为基础,连接 OLAP 和数据湖等众多框架的一站式实时计算平台,致力于流批一体和湖仓一体的探索与实践。 愿景:Dinky 通过提供一站式专业的数据开发、作业监控、资源管理等服务,让FlinkSQL纵享丝滑,以帮助用户在实时计算时代,更好地构建、交付、管理自己的实时计算任务,更专注地分析和挖掘业务数据,更快地交付商业数据的价值。
atbigapp.com
发布于2024年01月03日
Robust 2.0:支持Android R8的升级版热修复框架
2016年,我们对美团Android热更新方案Robust的技术原理做了详细介绍。近几年,Google 推出了新的代码优化混淆工具R8,Android 热修复补丁制作依赖二次构建包和线上包对比,需要对Proguard切换到R8提前进行适配和改造,本文分享 Robust 在适配 R8 以及优化改进中的一些思路和经验,希望能对大家有所帮助或者启发。
忆往昔
发布于2024年01月03日
1浏览
超大规模数据库集群保稳系列之一:高可用系统
基于过去多年在大规模数据集群保稳方面的实践经验,我们希望能够跟业界进行一些技术交流,美团技术团队举办了第75期技术沙龙。我们邀请到了美团研究员赵应钢担任出品人,同时请邀请到张洪、王占全、蔺瑞超、沈裕锋等4位数据库方向的4位技术专家,围绕进攻、防守、⾃愈、演练等几个方向展开分享。本文系超大规模数据库集群保稳系列的第一篇文章。
忆往昔
发布于2024年01月03日
1浏览
一次「找回」TraceId的问题分析与过程思考
用好中间件是每一个开发人员的基本功,一个专业的开发人员,追求的不仅是中间件的日常使用,还要探究这背后的设计初衷和底层逻辑,进而保证我们的系统运行更加稳定,让开发工作更加高效。结合这一主题,本文从一次线上告警问题出发,通过第一时间定位问题的根本原因,进而引出Google Dapper与MTrace(美团内部自研)这类分布式链路追踪系统的设计思想和实现途径,再回到问题本质深入@Async的源码分析底层的异步逻辑和实现特点,并给出MTrace跨线程传递失效的原因和解决方案,最后梳理目前主流的分布式跟踪系统的现状,并结合开发人员日常使用中间件的场景提出一些思考和总结。
忆往昔
发布于2024年01月03日
低延迟流式语音识别技术在人机语音交互场景中的实践
美团语音交互部针对交互场景下的低延迟语音识别需求,提出了一种全新的低出字延迟流式语音识别方案。本方法将降低延迟问题转换成一个知识蒸馏过程,极大地简化了延迟优化的难度,仅通过一个正则项损失函数就使得模型在训练过程中自动降低出字延迟。在实验测试集上,本方法能够获得最高近 200 毫秒左右的平均出字延迟降低。
忆往昔
发布于2024年01月03日
基于AI+数据驱动的慢查询索引推荐
目前,美团内部的日均慢查询数量已经超过上亿条,如何对对这些慢查询进行分析并建立合适的索引,是美团数据库研发中心面临的一项挑战。美团数据库平台研发组与华东师范大学展开了科研合作,通过基于AI+数据驱动的索引推荐,来与基于代价的方法并行地为慢查询推荐索引,以提升推荐效果。
忆往昔
发布于2024年01月03日
ICDE 2023 | 多场景多任务学习在美团到店餐饮推荐的实践
美团到店餐饮算法团队在跨域迁移学习的长期实践中,基于多场景的业务背景,提出了分层信息抽取网络,提升了多场景多任务的建模效果。相关技术方案形成的学术论文已经被国际数据工程会议ICDE 2023收录,本文详细阐述了多场景&多任务学习的解决方案,希望能给从事相关方向研究的同学带来一些帮助或启发。
忆往昔
发布于2024年01月03日
MRCP在美团语音交互中的实践和应用
“当你和智能语音机器人对话交互时,你是否好奇电话背后的机器人如何“听懂”你的意思,又如何像人一样“回答”你的问题?其中比较重要的技术就是 MRCP。本文主要介绍了 MRCP 在美团语音交互中的实践和应用,基于美团自研的语音识别及语音合成能力,我们提升了外呼通话的成功率,并且保证了更好的用户体验。”
忆往昔
发布于2024年01月03日
1浏览
SOTA!目标检测开源框架YOLOv6 3.0版本来啦
近日,美团视觉智能部发布了 YOLOv6 3.0 版本,再一次将目标检测的综合性能推向新高。本次更新除了对 YOLOv6-N/S/M/L 模型进行全系列升级之外,还推出了大分辨率 P6 模型。其中,YOLOv6-L6 检测精度和速度超越 YOLOv7-E6E,取得当前实时目标检测榜单 SOTA。本文主要介绍了 YOLOv6 3.0 版本中引入的技术创新和优化,希望能为从事相关工作的同学带来一些启发或帮助。
忆往昔
发布于2024年01月03日
大规模食品图像识别:T-PAMI 2023论文解读
美团基础研发平台视觉智能部与中科院计算所展开科研课题合作,共同构建大规模数据集Food2K,并提出渐进式区域增强网络用于食品图像识别,相关研究成果已发表于T-PAMI 2023。本文主要介绍了数据集特点、方法设计、性能对比,以及基于该数据集的迁移实验等方面的内容,并对Food2K未来的工作进行了展望。希望能为从事相关工作的同学带来一些帮助或者启发。
忆往昔
发布于2024年01月03日
交互式推荐在外卖场景的探索与应用
外卖场景的用户停留时长低于传统电商,对用户实时需求的理解和反馈有更高的要求。针对业务问题,外卖推荐团队从2021年起开始持续投入,最终摸索出了一套适用于外卖场景的交互式推荐架构和策略,并取得了较好的收益。本文详细介绍了外卖首页Feed在搭建交互式推荐时遇到的挑战和解决思路。
忆往昔
发布于2024年01月03日
美团视觉GPU推理服务部署架构优化实践
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战,美团视觉研发团队决定通过模型结构拆分和微服务化进行优化,他们提出一种通用高效的部署架构,来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例,优化后的服务压测性能指标GPU利用率由40%提升至100%,QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践,希望对大家能有所帮助或启发。
忆往昔
发布于2024年01月03日
1浏览
Code:美团代码托管平台的演进与实践
美团代码托管平台经过长期的打磨,完成了分布式架构的改造落地,托管数以万计的仓库,日均Git相关请求达到千万级别。本文主要介绍了美团代码托管平台在迭代演进过程中面临的挑战及解决思路,希望对大家有所帮助或启发。
忆往昔
发布于2024年01月03日
1浏览
美团技术年货来了!1300+页的电子书,涵盖前端、后端、算法、数据、运维、安全
在2023年春节到来之际,我们从去年美团技术团队公众号上精选了60多篇技术文章,整理制作成一本1300多页的电子书,作为新年礼物赠送给大家。祝愿大家,诸事顺遂,健康平安。
忆往昔
发布于2024年01月03日
美团开放平台SDK自动生成技术与实践
美团开放平台为整个美团提供了20+业务场景的开放API,为了使开发者能够快速且安全的接入美团开放平台,美团开放平台提供了多种语言的SDK来提高开发者的接入效率。本文介绍了美团开放平台如何自动生成SDK代码的相关技术实现方案,希望对大家能够有所帮助或者启发。
忆往昔
发布于2024年01月03日
1浏览
2022年 | 美团技术团队公众号最受欢迎的20篇文章
时光匆匆,就要跟2022年说再见了!2013年12月4日,美团技术团队博客诞生,发表了第1篇技术文章。9年多的时间,3311个日夜,目前我们已经发布了548篇技术文章,美团技术团队博客/公众号,感谢大家的一路相伴。
忆往昔
发布于2024年01月03日
1
14
15
16
17
18
45