本地部署Deepseek-RAG知識(shí)庫(kù)

發(fā)布日期： 2025-02-20 閱讀量： 作者： 巴頓軟件

隨著人工智能和大數(shù)據(jù)的快速發(fā)展，企業(yè)對(duì)知識(shí)管理的需求也日益增加。為了更好地利用內(nèi)部信息資源，實(shí)現(xiàn)智能化的知識(shí)查詢，企業(yè)開(kāi)始尋求能夠高效管理和檢索數(shù)據(jù)的知識(shí)庫(kù)解決方案。在這篇文章中，我們將探討如何通過(guò)Ollama部署DeepSeek，并將其接入本地RAG平臺(tái)，來(lái)構(gòu)建一個(gè)強(qiáng)大的企業(yè)知識(shí)庫(kù)。

一、什么是RAG平臺(tái)？

RAG平臺(tái)（Retrieval-Augmented Generation）是將檢索與生成相結(jié)合的一種技術(shù)，它通過(guò)檢索相關(guān)文檔并生成有用的信息，為用戶提供更加精準(zhǔn)的答案。以下是一些廣泛使用的RAG平臺(tái)：

Haystack by deepset
官網(wǎng)：https://deepset.ai/haystack
介紹：Haystack 是一個(gè)開(kāi)源的 NLP 框架，能夠處理信息檢索與文本生成任務(wù)，廣泛應(yīng)用于構(gòu)建問(wèn)答系統(tǒng)和知識(shí)庫(kù)。
GPT Index
官網(wǎng)：https://gpt-index.readthedocs.io/
介紹：GPT Index 是一個(gè)通過(guò)高效的檢索增強(qiáng)生成 (RAG) 系統(tǒng)來(lái)處理文檔和問(wèn)答的工具，適合企業(yè)級(jí)應(yīng)用。
LangChain
官網(wǎng)：https://www.langchain.com/
介紹：LangChain 提供了一個(gè)豐富的框架，用于構(gòu)建基于大型語(yǔ)言模型（LLMs）的應(yīng)用程序，支持與外部系統(tǒng)集成，如數(shù)據(jù)庫(kù)和搜索引擎。
AnythingLLM
官網(wǎng)：https://anythingllm.com/
介紹：AnythingLLM 是一個(gè)開(kāi)源的深度學(xué)習(xí)框架，旨在簡(jiǎn)化大規(guī)模語(yǔ)言模型的部署與應(yīng)用，特別是在與本地RAG平臺(tái)集成構(gòu)建智能知識(shí)庫(kù)和問(wèn)答系統(tǒng)方面。

二、使用AnythingLLM演示DeepSeek與RAG平臺(tái)結(jié)合

在此部分，我們將展示在Mac平臺(tái)如何使用AnythingLLM實(shí)現(xiàn)DeepSeek與本地RAG平臺(tái)的接入。

步驟 1：安裝并配置Ollama

首先進(jìn)入ollama官網(wǎng)：https://ollama.com/，下載并安裝ollama

下載-1.png 下載-2.png

安裝完成后打開(kāi)ollama，進(jìn)入終端輸入下面命令

ollama -v

輸出如下ollama版本即為安裝成功

ollama version is 0.5.7

步驟 2：下載deepseek-R1 14B版本

在終端中輸入安裝命令，等待deepseek安裝完成

ollama run deepseek-r1:14b

安裝完成后展示如下圖，輸入文字就能對(duì)話

安裝ds14b.png 安裝22.png

步驟 3：安裝AnythingLLM平臺(tái)

進(jìn)入官網(wǎng)下載mac版本的，這里我是m2芯片，對(duì)應(yīng)apple sillicon，完成安裝。

安裝rag1.png

步驟 4：配置AnythingLLM

打開(kāi)AnythingLLM，點(diǎn)擊創(chuàng)建工作區(qū)，輸入工作區(qū)名稱

進(jìn)入工作區(qū)設(shè)置，點(diǎn)擊聊天設(shè)置，修改工作區(qū)LLM提供者為ollama，再選擇14b版本，修改聊天提示語(yǔ)，定義agent的工作內(nèi)容并且指定用中文回復(fù)。

完成AnythingLLM配置，可以進(jìn)行對(duì)話了

步驟 4：數(shù)據(jù)投喂

通過(guò)調(diào)用RAG平臺(tái)，DeepSeek將能夠根據(jù)內(nèi)部數(shù)據(jù)庫(kù)、文檔、鏈接等提供實(shí)時(shí)的知識(shí)查詢和生成能力。我使用寧暢官網(wǎng)的產(chǎn)品頁(yè)面作為投喂資料進(jìn)行演示。

如圖所示完成數(shù)據(jù)添加，回答問(wèn)答界面，要求deepseek介紹下寧暢的產(chǎn)品，deepseek會(huì)從投喂的網(wǎng)站進(jìn)行搜索，總結(jié)出產(chǎn)品的內(nèi)容；

投喂的內(nèi)容可以是doc、pdf、csv、鏈接等數(shù)據(jù)，也可以是自己搭建的數(shù)據(jù)庫(kù)，可以自己下載體驗(yàn)。

總結(jié)：至此完成了deepseek本地化部署RAG平臺(tái)的流程。

DeepSeek的硬件要求

DeepSeek的硬件要求依賴于不同的參數(shù)配置，特別是顯卡顯存的大小。一般來(lái)說(shuō)，對(duì)于不同規(guī)模的模型和查詢負(fù)載，硬件需求也會(huì)有所不同。如下圖是ollama官網(wǎng)中deepseek的大小，你對(duì)應(yīng)的顯存必須大于此模型大小，否則就會(huì)使用cpu+內(nèi)存的方式進(jìn)行推理，速度將會(huì)大幅降低甚至卡死。

上一篇: 每個(gè) Web 開(kāi)發(fā)人員至少應(yīng)該查看的 10 個(gè)網(wǎng)站

下一篇: app開(kāi)發(fā)需要用到的關(guān)鍵技術(shù)

本地部署Deepseek-RAG知識(shí)庫(kù)

隨便看看