Milvus x DeepSeek 搭建低成本高精度 RAG 实战

news/2025/2/26 10:17:31

为什么手握海量数据,却用不出真正的“智能”?要么 AI 模型学艺不精,答非所问;要么技术门槛太高,让普通开发者望而却步。现在,使用阿里云 Milvus 向量检索服务、DeepSeek 大模型和 PAI LangStudio 开发工具,只需像搭积木一样,将其进行简易拼接,就能轻松搭建一套‘能查会想’的 RAG 系统。接下来将基于阿里云的人工智能平台 PAI LangStudio,结合阿里云向量检索Milvus版的强大能力,并以 DeepSeek-R1-Distill 模型为例,为您详细介绍大模型 RAG 检索增强解决方案。当然如您需要更高配置的 DeepSeek R1 模型来满足使用需求,也可以复用以下技术链路来进行实现。

阿里云 Milvus+DeepSeek + PAI LangStudio 搭建智能问答助手,支持私域知识库和联网功能

Step 1: 创建阿里云 Milvus 实例的实例

可根据指引完成创建:快速创建Milvus实例_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心

请注意,Milvus 实例和后续通过 PAI LangStudio 创建的 Embedding 服务、LLM 服务须在相同地域内。

Step 2 : 将 RAG 知识库上传至 OSS 中

本文针对金融、医疗场景提供以下示例语料:

  • 金融新闻:数据为 PDF 格式,主要内容为公开新闻网站上的新闻报道。

  • 疾病介绍:数据为 CSV 格式,主要内容为维基百科上的疾病介绍。

Step 3 :部署 DeepSeek 模型和 Embedding 模型

1. 前往 PAI 控制台的快速开始 > ModelGallery,分别按场景选择大语言模型及 **Embedding **分类,并部署指定的模型。本文以 **DeepSeek-R1-Distill-Qwen-7B **和 bge-m3 通用向量模型为例进行部署。(链接:https://pai.console.aliyun.com/#/quick-start/models)

如果您想完整体验 DeepSeek 模型,请选择 DeepSeek-R1 或 DeepSeek-V3。

2. 前往任务管理,单击已部署的服务名称,在服务详情页签下单击查看调用信息,分别获取前面部署的 DeepSeek 大预言模型和 Embedding 模型服务的 VPC 访问地址和 Token,供后续创建连接时使用。(链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台)

Step 4 : 创建连接

4.1 创建 LLM 服务连接

  1. 进入 LangStudio,选择工作空间后,在连接管理页签下单击新建连接。(链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台)

  2. 创建通用 LLM 模型服务连接。单击EAS 服务,从弹出的抽屉中选择已部署的服务,会自动填充base_urlapi_key

4.2. 创建 Embedding 模型服务连接

同创建 LLM 服务连接,创建通用 Embedding 模型服务连接。其中 **base_url **和 **api_key **分别对应部署 DeepSeek 大语言模型和 Embedding 模型中 Embedding 模型的 VPC 访问地址和 Token。

4.3 创建向量数据库连接

同创建 LLM 服务连接,创建 Milvus 数据库连接。

关键参数说明:

  • uri:Milvus 实例的访问地址,格式为http://<Milvus内访问地址>

您可以在阿里云Milvus控制台的 Milvus 实例的实例详情页面查看。例如,http://c-b1c5222fba****-internal.milvus.aliyuncs.com

  • token:登录 Milvus 实例的用户名和密码,填写格式为<yourUsername>:<yourPassword>

  • database:数据库名称,本文使用默认数据库default

Step 5.:创建离线知识库

新建知识库索引,将语料经过解析、分块、向量化后存储到向量数据库,从而构建知识库。新建知识库索引详细配置请参见:https://help.aliyun.com/zh/pai/user-guide/knowledge-base-index-management。

Step 6: 创建并运行RAG应用流

  1. 进入 LangStudio,选择工作空间后,在应用流页签下单击新建应用流,模板类型选择 RAG,创建 RAG 应用流。

2. 启动运行时:单击右上角启动运行时并进行配置。注意:在进行 Python 节点解析或查看更多工具时,需要保证运行时已启动。

注意专有网络配置:选择创建 Milvus 实例时的专有网络。

3. 开发应用流。应用流中的其余配置保持默认或根据实际需求进行配置,关键节点配置如下:

  • index_lookup:在知识库中检索与用户问题相关的文本。
    • registered_index:配置为已创建的知识库索引。
    • query:用户问题。

    • top_k:返回 top_k 条匹配的数据。

  • generate_answer:使用过滤后的文档作为上下文,与用户问题一起发送给大语言模型,生成回答。

    • connection:选择创建 LLM 服务连接中创建的连接。

    • model:输入 default。connection也可选择的是百炼大模型服务连接。

    • max_tokens:设置最大 token 数,本例设置为1000。

4. 调试/运行:单击右上角对话, 开始执行应用流。

5. 查看链路:单击生成答案下的查看链路,查看 Trace 详情或拓扑视图。

Step 7: 部署应用流

在应用流开发页面,单击右上角部署,部署参数其余配置保持默认或根据实际需求进行配置,关键参数配置如下:

  • 资源部署信息 > 实例数:配置服务实例数。本文部署仅供测试使用,因此实例数配置为1。在生产阶段,建议配置多个服务实例,以降低单点故障的风险。

  • 专有网络配置 > VPC:配置 Milvus 实例所在的专有网络。

更多部署详情,请参见https://help.aliyun.com/zh/pai/user-guide/application-flow-deployment。

Step 8: 调用服务,进行对话

部署成功后,跳转到 PAI-EAS,在在线调试页签下配置并发送请求。请求参数中的 Key 与应用流中输入节点中的"Chat 输入"字段一致,本文使用默认字段question。输入以下内容。

{
    "question":"请根据最新的新闻报道,分析美国科技行业目前投资分管性如何,是否存在泡沫,给出是或否的具体回答"
}

更多调用方式(如API调用)及详细说明,请参见将应用流部署为EAS服务_人工智能平台 PAI(PAI)-阿里云帮助中心。

开启联网搜索

如果您希望使用 DeepSeek-R1模型,快速构建具备联网搜索与 RAG(检索增强生成)功能的智能应用流,可以参见 Chatbot with RAG and Web Search。(链接:Chatbot with RAG and Web Search_人工智能平台 PAI(PAI)-阿里云帮助中心)

立即体验

我们诚邀您立即体验阿里云向量检索服务 Milvus 版的强大功能!您只需登录阿里云账号,进入向量检索服务 Milvus 版产品控制台(阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台 ),即可创建阿里云 Milvus 实例,开箱即用。

此外,为回馈新老用户,阿里云 Milvus 推出了重大优惠:

向量检索服务 Milvus 版产品全部规格,年付通通5折!

阿里云向量检索服务 Milvus 版,将持续打磨产品,不断优化产品的功能、性能和使用体验,为用户提供更加专业、灵活、高效的向量搜索引擎服务,助力企业轻松应对海量非结构化数据管理挑战,实现业务价值最大化,欢迎大家体验!


http://www.niftyadmin.cn/n/5868537.html

相关文章

【大模型应用之智能BI】基于 Text2SQL 的 GenBI 技术调研和深度分析(包含案例)

1. 引言:GenBI 的崛起与 Text2SQL 的核心地位 随着数据驱动决策在企业中日益普及,商业智能(Business Intelligence,BI)工具的需求持续增长。传统的 BI 工具通常依赖于用户手动创建数据查询、仪表盘和报表,这对于非技术用户来说存在较高的门槛。生成式 BI(Generative BI…

【前端】react+ts 轮播图的实现

一、场景描述 在很多网站的页面中都有轮播图&#xff0c;所以我想利用react.js和ts实现一个轮播图。自动轮播图已经在前面实现过了&#xff0c;如&#xff1a;https://blog.csdn.net/weixin_43872912/article/details/145622444?sharetypeblogdetail&sharerId145622444&a…

SQL进阶实战技巧:汽车转向次数分析 | 真实场景案例

目录 0 问题描述 1 数据准备 2 问题分析 3 小结 关键技术总结 0 问题描述 现有一组实际汽车在平整路面安全行驶数据,每秒记录一次汽车的车头绝对指向,车头方向记为[0-360)度,部分数据如下,完整数据后附文件。

Docker基础-常见命令

docker images -查看所有的本地镜像。 docker pull -把远端镜像拉取到本地。 docker rmi -删除镜像。 docker push -推到镜像仓库。 docker run -创建并运行容器&#xff08;自动化&#xff0c;如果发现镜像不存在会先去拉取&#xff0c; 拉取完了以后再去自动创建容器&am…

langchain-go调用deepseek

1.查看官网 发现只有ollama,openai,Mistral于是查看代码 2.代码查看 先从llm, err : openai.New(url, model, token)开始 发现New方法可以传option参数&#xff0c;再看一下option参数 const (tokenEnvVarName "OPENAI_API_KEY" //nolint:gosecmodelE…

HITCON2017SSRFME-学习复盘

代码审计 192.168.122.15 <?phpif (isset($_SERVER[HTTP_X_FORWARDED_FOR])) {$http_x_headers explode(,, $_SERVER[HTTP_X_FORWARDED_FOR]);//用逗号分割多个IP$_SERVER[REMOTE_ADDR] $http_x_headers[0];}echo $_SERVER["REMOTE_ADDR"];//给第一个IP发送请…

Linux主机用户登陆安全配置

Linux主机用户登陆安全配置 在Linux主机上进行用户登录安全配置是一个重要的安全措施&#xff0c;可以防止未经授权的访问。以下是如何创建用户hbu、赋予其sudo权限&#xff0c;以及禁止root用户SSH登录&#xff0c;以及通过ssh key管理主机用户登陆。 创建用户hbu 使用具有…

从零到一:如何用阿里云百炼和火山引擎搭建专属 AI 助手(DeepSeek)?

本文首发&#xff1a;从零到一&#xff1a;如何用阿里云百炼和火山引擎搭建专属 AI 助手&#xff08;DeepSeek&#xff09;&#xff1f; 阿里云百炼和火山引擎都推出了免费的 DeepSeek 模型体验额度&#xff0c;今天我和大家一起搭建一个本地的专属 AI 助手。  阿里云百炼为 …