大模型应用落地效果好坏的关键是知行合一，既要对业务场景和模型能力有正确的认知，又需要一套能够跟业务系统很好融合同时支持实验全生命周期的工具帮助认知落地。在车损互助的加入定价、日常服务、理赔定损等关键业务环节，我们构建了多个 Agent，以远超出业务专家水平的解决了车辆准入、精准报价、智能定损等关键问题；在 ChatBot 里通过 AQG、RAG 等技术极大解决了真实金融场景里对内容回答真实性很高的难题；在续费管理、销售管理等强依赖数据产品的场景里，也提前探索了 text2index、text2sql 等技术路线，做了足够的技术储备。这背后其实就是一个 4 人团队，能做到这点，很重要的一点是我们依 Dify、DSPy、LangChain 等工具搭建了一个完善的快速迭代和实验平台，在这个过程中对 LLMOps 的降低门槛、提高可集成性、提高可观测性、提升效果和效率也有了一点思考。

演讲提纲：

车损互助业务背景介绍
LLM 落地实践介绍
- VIN 匹配
- ChatBot
- AI 定损
- text2index & text2sql
LLMOps 的个人思考
- 降低门槛
- 提高可集成性
- 提高可观测性
- 提升效果&效率

听众收益：

了解大模型应用的思路
- 对业务系统里的专家系统或者 Rule based system 如何用大模型替代有更深入的思考；原来效果不好，不是大模型的锅？
- 对 ChatBot 这个看似最常见的大模型应用有更深入的理解；原来这个问题在真实场景在一些约束下是可以接近解决真实性的问题的？
- 对如何在数据产品里使用大模型解决 Ad Hoc Query 问题，彻底打开思路；原来一直在走弯路？
了解一些关于 LLMOps 的思考
- 如何降低开发门槛？到底什么是门槛？
- 可集成性为什么这么重要？
- 什么是可观测性？
- 当前效果和效率都有哪些问题？都有哪些角度可以去解决问题？在这里LLMOps的定位是什么？

专题演讲嘉宾：杨军

英伟达高级技术总监

by 杨军

英伟达

关注极客时间企业版

联系我们

交通指南

北京乐多港万豪酒店