无匹配社区

博客园

请选择社区

第7章 优化算法

无约束优化问题的优化方法有梯度下降法、牛顿法、共轭梯度法等。这些方法适用于不同的场景,如梯度下降法适用于大规模数据集,牛顿法适用于局部极小值较多的情况。此外,还有凸优化中的线性规划、二次规划等也有广泛应用。
数据结构和算法
头像
海星之梦 发布于 01月21日
39浏览

第1章 特征工程

本文介绍了在机器学习中如何处理类别型特征和高维组合特征的问题。通过序号编码、独热编码和二进制编码等方式处理类别型特征,通过降维和基于决策树的方法寻找有效的组合特征,以提高模型的拟合能力。
数据结构和算法
头像
海星之梦 发布于 01月21日
71浏览

机器学习算法工程师的自我修养

本书涵盖了机器学习算法工程师所需的核心知识体系,包括特征工程、模型评估、经典算法、降维、非监督学习、概率图模型、优化算法、采样、前向神经网络、循环神经网络、强化学习和集成学习等方面的内容。本书通过深入剖析各种机器学习模型的理论和实践,帮助读者成为具备扎实理论基础和实际应用能力的机器学习算法工程师。
数据结构和算法
头像
海星之梦 发布于 01月21日
44浏览

白面机器学习-封面

本书由一线机器学习算法工程师撰写,收录超过100道真实场景面试题目和解答。内容涵盖机器学习、神经网络、强化学习等领域,旨在帮助读者掌握成为优秀算法工程师的技能,建立对机器学习的热爱。通过问答形式,生动展示人工智能领域的应用和前景。
数据结构和算法
头像
海星之梦 发布于 01月21日
123浏览

推荐一套开源电商项目数据湖建设实战代码

推荐一套数据湖建设实战项目代码,涉及MySQL、Seatunnel、Doris等组件构建离线数仓和Kafka、Flink等构建实时数仓。代码包括数据采集、任务编排和数据展示等部分。欢迎添加作者讨论。
数据仓库/中台FlinkDoris
头像
海星之梦 发布于 01月19日
129浏览

成本下降50腾讯音乐StarRocks存算分离大规模实践

腾讯音乐采用StarRocks存算分离架构构建湖仓一体新方案,实现降本增效。通过迁移实践,性能不变且成本降低,简化运维与快速弹性。最佳实践包括数据打散到多个对象存储桶、写入反压改造和集群吞吐配置优化等。监控和调优是关键。
数据仓库/中台FlinkDoris
头像
海星之梦 发布于 01月19日
85浏览

Apache SeaTunnel 项目介绍

Apache SeaTunnel 项目的定位是 EtLT 时代的新一代数据集成平台。EtLT 是 ETL 和 ELT 的演进,ETL 是早期数据同步到数仓的一种方式,首先从数据源中抽取数据,接着对数据进行转化,比如聚合、校验等计算,再把数据加载到数仓中。随着数据源的增多和数仓架构的演进,ELT 时代到来,数据先加载到数仓,再利用数仓的计算集群进行大批量计算。
SeaTunnel
头像
海星之梦 发布于 01月19日
109浏览

OPPO 选择 SeaTunnel:提升平台开发与生产能力

本文介绍了智能推荐系统的特征平台和样本中心建设,采用Apache SeaTunnel作为数据处理基础,实现特征高效生产和存储,样本管理、生成和回迁。采用Flink流批一体化计算架构,提升效率和一致性。未来规划包括源数据功能深化、多引擎多模式开发和与ChatGPT结合。
SeaTunnel
头像
海星之梦 发布于 01月19日
52浏览

信也科技基于 Apache SeaTunnel 金融场景的应用实践

信也科技采用Apache SeaTunnel构建离线任务开发运维平台,解决数据推送痛点,实现全链路血缘打通和统一推送框架。已生产环境上线并取得成果,计划扩展更多数据推送场景。
SeaTunnel
头像
海星之梦 发布于 01月19日
93浏览

教你从头到尾开发一个 SeaTunnel Connector

本文介绍了如何从头开发一个SeaTunnel Connector,包括认领Connector、编译工程、了解Connector相关代码结构、开发中的注意事项以及如何寻求帮助等。同时,也提到了编写E2E测试时需要注意的问题和解决方案。
SeaTunnel
头像
海星之梦 发布于 01月19日
128浏览

HarmonyOS智能座舱体验是怎样炼成的立即查看

文章介绍了华为HarmonyOS智能座舱的设计理念、应用高效设计开发方法以及软硬件联合打造优秀体验的方法。包括智能座舱的人因设计理念、应用基础要求、开发禁止事项、更佳体验的设计规范,以及音频类应用快速接入和手机服务卡片快速适配座舱的方案。同时,通过小憩模式和K歌体验两个实际案例介绍了软硬件联合体验的创新应用。
头像
春风得意 发布于 01月16日
51浏览

HarmonyOS语言基础类库开发指南上线啦

HarmonyOS语言基础类库开发指南包括并发能力、容器类库能力、XML生成解析与转换等。提供异步并发和多线程并发能力,TaskPool和Worker实现多线程。提供容器类库基础操作,包括线性容器和非线性容器。同时支持XML生成、解析与转换。我们期待您的反馈,不断提升文档体验。
头像
春风得意 发布于 01月16日
33浏览

HarmonyOS开发指导类文档更新速递上

HarmonyOS 5.0.0 Release更新了文档,包括ArkUI框架、ArkWeb和AudioKit等内容的更新。新内容涵盖了UI框架的使用弹窗、自定义扩展、属性字符串等,Web组件丰富了网页端实现场景,优化了同层渲染。AudioKit提供了音频流类型和音频焦点管理指导。欢迎反馈意见,以持续提升文档体验。
头像
春风得意 发布于 01月16日
64浏览

AI产品经理RAG面试知识点汇总

RAG是Retrieval Augmented Generation的缩写,是一种结合检索和生成技术的AI应用方法。它通过检索相关信息增强模型的回答,解决大型模型在知识更新和特定领域知识方面的局限。RAG包括优势、技术概述、核心技术、实际应用痛点、优化策略、评测方法、关键指标和能力、多模态和Self、架构优化等方面。
头像
春风得意 发布于 01月16日
104浏览

面向AI的数据治理体系如何构建

人工智能与数据治理的结合,推动了大数据智能市场的蓬勃发展。数据治理为人工智能提供优质数据和保障数据隐私,而人工智能提升了数据治理的智能化水平。二者结合,形成了数据治理平台的智能化,推动了行业融合。面向人工智能的数据治理体系的建设,满足了AI应用对数据的高质量要求,形成了“治理+AI”的良性循环。
头像
春风得意 发布于 01月16日
84浏览

大数据存储模型训练数据从哪来

大模型的训练数据源包括维基百科、书籍、杂志期刊、Reddit链接等。数据爬取和预处理是训练大模型的关键步骤,包括数据去重、文本语言识别与过滤以及质量过滤等。处理过程中使用WARC、WAT和WET格式的数据存储,以提高数据处理速度和降低数据量。
头像
春风得意 发布于 01月16日
22浏览

企业架构规划的四次迭代八个阶段

企业架构规划围绕需求管理核心,分为准备、设计、云原生、实施治理等阶段。业务架构强调战略转化,应用架构关注领域设计,数据架构注重数据管理,技术架构助力系统开发运维。项目实施策略包括破釜沉舟、敏捷迭代和“双模IT”等。整体而言,企业架构规划需结合企业战略、业务需求和数字化转型趋势,逐步构建和优化企业架构。
头像
春风得意 发布于 01月16日
59浏览

一文看懂OpenAI狂飙12天发布会

OpenAI在为期12天的发布会上推出了多项重大更新,包括更强大的模型o1和o3、视频生成工具Sora、生产力工具Canvas的开放,以及ChatGPT在电话和WhatsApp上的集成等。这些更新面向不同用户群体,提供了更强大的AI功能,改善了用户体验。
头像
春风得意 发布于 01月16日
47浏览

LLM大模型为什么需要微调

大模型微调是在预训练模型基础上,使用特定数据集进行进一步训练,以适应特定任务或领域的方法。本文介绍了微调的定义、重要性、两个主要方法和类型,以及微调的主要步骤。微调有助于企业利用开源大模型,解决特定场景问题。标签:大模型、微调、机器学习、深度学习、预训练模型、基础模型、数据集、任务特定、监督微调、无监督微调。
头像
春风得意 发布于 01月16日
74浏览

AI大模型数据底座之湖仓一体

随着数据大爆炸时代的到来,数据已从被存储对象转变为企业的核心资产。本文探讨了数据仓库和数据湖在应对大数据时代面临的挑战时的优势与不足,并介绍了湖仓一体(Data Lakehouse)的概念及其在数据管理中的应用。同时,文章还讨论了AI赋能湖仓一体化平台的发展趋势,以及AI在大数据处理中的协同作用。最后,总结了数据从结构化到非结构化融合的趋势与挑战。
头像
春风得意 发布于 01月16日
160浏览
1 181920212273

微信(交流/反馈)

巨人肩膀初心:站在巨人肩膀上,避免无谓的重复劳动。 生产和汇聚行业技术、 知识经验、 工具组件 、案例产品,提供相关环境,为开发者提高生产效率提供切实有效的支持和帮助。并在这一进程中实现多方共赢。

由 深圳数智领航科技有限公司 提供动力 - 数智化领航者。

©2023-2025 - 巨人肩膀 - 粤ICP备2025395551号-1