背景与挑战

目前，数据分析服务主要通过数据产品、BI工具和配备数据分析师等方式来支持，在数据响应效率、分析能力应用的广度、深度和频率等方面各有不足，但业务时常需要通过数据驱动决策，就出现了数据获取难、数据分析难等用户痛点。大模型在数据消费领域的应用，为用户痛点的解决带来了新的思路。

基于LLM的解决方案

对于京东复杂的业务和数据体系，大模型在数据服务领域的应用很有价值，同时也面临着挑战。当前的架构设计充分考虑了已具备的底层数据服务能力，结合LLM实体识别、上下文推理、决策辅助能力将用户查询与复杂数据集的相关指标匹配，实现快速准确的数据查询。通过NER识别将用户的筛选条件、查询指标、聚合方式抽取出来，利用Norm(归一化)把实体转换成标准数据服务的调用参数，并且构建索引将归一化依赖的数据资产进行存储，来实现自然语言查询准确数据的全链路，与此同时，建立完善的评估体系、利用本地模型优化等机制，不断提升应答准确率，为用户带来更优质的使用体验。

214a6f301fbc5111eccd6b513396f53a_format,webp.webp

基于业务知识和数据知识的Prompt工程

bc6578314b2e8f11057ff65d0f45a9f8_format,webp.webp

Prompt工程建设

•目标确认：针对用户对数据的诉求，整理用户问题确定输入数据，基于不同任务目标确认不同输出格式，如实体识别输出标准格式的{实体类别：实体名称}，指令生成输出标准格式的{分析能力：分析指令}等。

•工程建设：确认目标后，从环境预设、指令描述、输出规范等角度生成规范Prompt，不断微调输入结合业务知识的个性化案例。并通过中英互译、预设负样本、增设输出校验和边际检验、动态Prompt生成等方案优化，兼顾时效性的同时，提高输出结果的稳定性和准确性。

准确率提升

模块归一化模块会把实体转成数据服务支持的参数值，难点在于区分出相同名称或者相似名称，为用户匹配出最符合用户需求的结果，包括指标、筛选条件、聚合维度等实体的转化，具体思路可以拆解成以下步骤：

•精确匹配：入参类型、指标名称或id、用户权限多维度叠加判断得到精准结果；

•相似性匹配，在精准匹配没有结果之后，使用大模型对实体进行embedding操作，从库里查询出相似度最高的结果；

•建立索引：对实体建立别名层，满足用户个人习惯，如部门的简称、指标的别名，来提升识别准确率；

•用户行为数据辅助：通过用户在数据产品、数据工具等系统的行为数据，生成用户对指标、筛选条件、聚合维度的偏好数据，辅助提升准确率。

评测体系

数据服务场景对准确率要求较高，同时数据指标相似度、数据口径复杂等实际情况对大模型的准确率有较高挑战，如何保障回答的准确性是产品设计之初就重点考虑的问题。目前通过周期性大样本量评测集生成、检验，以及线上监控的组合方式来保障。

•样本设置：采用人工样本和大模型生成样本结合的方式，快速、多频次对不同句式、不同场景的问答（1000+）做评测，来保障样本的多样性和丰富度。

•准确率测评：通过批量调用接口返回大模型结果，离线代码支持批量结果自动化比对，从而高效输出任务的准确率、时效性等指标，同时同一批样本会多次调用来评估任务的稳定性。

•构建产品功能：用户可以在答案上点赞或点踩来反馈满意度，产品侧持续针对用户反馈问题进行阶段性优化。

本地大模型SFT

基于LLM对prompt工程输入token数量的限制及数据隐私安全的考量，我们也选用本地大模型进行Fine-tuning。它涉及在一个预训练模型的基础上进行额外训练，以使其更好地适应特定的任务场景，实现准确率提升和影响时长降低，具有很好的效果。

77ef6d40bd8c221c4334327fb23c9406_format,webp.webp

指标查询场景

在指标查询场景中，用户的提问方式具有高度多样性，同时，影响查询结果的关键因素也呈现出复杂的组合形态。为了提升查询效率和准确性，建立京东专属的业务域知识库来支持样本的批量生成

•按场景构建多样化问题库，如单/多指标查询、分维度查询、维度id和name查询、排序查询等

•按查询因素构建变量知识库，建立时间、指标、维度、筛选条件知识库，方便后续新增场景的快速扩充

模型训练前后准确率对比提升明显

e010fb62419b6fb59f914c1f8d4b217e_format,webp.webp

数据分析场景

本地大模型可支持数据交互，解决数据在传输过程中可能遭遇的安全风险和隐私泄露问题。通过问题引导，降低用户的使用成本，使用户能够智能化分析。通过用户数据查询的当前表现，由大模型提供"分析线索"引导用户进一步分析下探，线索包括：

•描述性分析，如销量达成情况、趋势分析、摘要总结

•探索性分析，如维度拆解、相关性指标推荐、异常值识别等

业务价值评估

•数据查询提效：通过自然语言对话，完成快速数据指标查询，单次查询时效降至7.8秒，大大降低用户数据获取的时间，并且很好的支持了用户个性化需求的满足；

•数据分析赋能：依托丰富指标维度数据，通过思维链实现自动化数据分析，并依据用户的习惯喜好等选择更贴合的数据路径，非“分析师”角色用户轻松实现多场景的快速智能分析

•数据消费拓展：通过产品赋能，为每一个用户配置一个专属的AI数据分析师，可以扩大数据消费用户的规模，并且大幅提升数据消费的能力，支持业务应用数据驱动决策

京东零售数据资产能力升级与实践：https://blog.51cto.com/u_15714439/10050196