狠狠色丁香婷婷综合尤物/久久精品综合一区二区三区/中国有色金属学报/国产日韩欧美在线观看 - 国产一区二区三区四区五区tv

LOGO OA教程 ERP教程 模切知識交流 PMS教程 CRM教程 開發文檔 其他文檔  
 
網站管理員

解密AI知識庫

freeflydom
2025年5月8日 8:57 本文熱度 92

許多人對AI知識庫的理解是:只需將所有資料拖入AI客戶端(如Cherry Studio),AI便會自動閱讀并生成完美結論。

但實際體驗后,大家發現AI知識庫效果遠不如預期,經常出現各種問題。

技術原理與局限

本文將從原理出發,分析AI知識庫的技術局限,并介紹進階方案,如重排序模型、數據庫(MCP server)和超長上下文模型等。

目前主流的大模型知識庫采用RAG(檢索增強生成)技術。

用戶添加資料時,系統會先將其拆分為多個文本塊。

隨后,嵌入模型將這些文本塊向量化,即將文本轉為一組超長數字序列。

以我的知識庫為例,嵌入模型輸出1024維向量:

每個文本塊都被轉為1024個數值組成的向量:

系統將向量及對應文本存入向量數據庫。

用戶提問時,問題同樣被向量化為1024維向量。

系統將問題向量與數據庫中所有向量進行相似度計算,完全基于數學運算。

最終,知識庫選出最相似的原文片段,與用戶問題一同發送給大模型,由其歸納總結。

可見,在RAG架構中,大模型主要負責歸納總結,答復質量很大程度取決于檢索精度。RAG系統普遍存在分塊粗糙、檢索不準、缺乏全局視角等問題。

Cherry Studio安裝與配置

前往Cherry Studio官網下載并安裝軟件:Cherry Studio


安裝過程簡單,按提示操作即可。

安裝后,打開軟件,點擊左下角“設置”-“模型服務”。

本文以硅基流動提供的免費嵌入模型為例。找到“硅基流動”,點擊獲取密鑰。若無賬號可先注冊。


歡迎在評論區互助分享邀請碼。

點擊左側“API密鑰”,新建密鑰(如“程序員NEO”),復制生成的密鑰。



將密鑰填入Cherry Studio。

添加嵌入模型:點擊“模型”右側添加按鈕。

回到硅基流動“模型廣場”,篩選“類型”為“嵌入”,選擇“bge-m3(免費)”,復制模型名稱。



回到Cherry Studio,填入模型名,點擊“添加嵌入模型”完成配置。

知識庫配置與文件添加

配置知識庫:點擊左側“知識庫”-“添加”,填寫名稱,選擇剛添加的嵌入模型,點擊確定。


添加文件:點擊“添加文件”,選擇文檔(如《三國演義》),打開后自動處理。



分片已存入向量數據庫。

根據官方文檔,目前使用turso的libSQL數據庫。

在知識庫頁面右上角點擊“搜索知識庫”可檢索分片內容。

如搜索“劉備”,系統會基于向量匹配查找相關段落,每段約300字。

Cherry Studio采用long chain遞歸文本分割器。

RAG知識庫的缺陷與改進

分塊方式簡單

這種分塊方式基本按段落分塊,段落過長則按固定字數切分,常導致句子被截斷。

以剛檢索到的“劉備”為例:

可見“:”前內容被截斷,結尾“雖是”也未說完。由于分塊上限為300字,前后句被強行截斷。

這暴露了RAG知識庫的缺陷:分塊粗糙,AI難以理解上下文,導致回答不精準。

雖然也有基于語義分析的分塊方法,但目前大多不成熟,效果甚至不如簡單分割。

檢索不精準

RAG的另一個問題是檢索不準。例如搜索“曹操兵器”,想找倚天劍的信息。

系統僅基于數字相似度匹配,無法真正理解文本含義,篩選片段可能相關也可能無關,難以精準匹配。


匹配結果往往不是所需信息,這是RAG系統的痛點之一。

較好的改進方案是引入重排序模型。先用向量數據庫初步檢索,再用重排序模型做語義分析,根據相關性重新排序。


以“曹操兵器”為例,添加重排序模型后,效果明顯提升。進入模型服務,找到硅基流動,添加重排序模型。



復制免費重排序模型名稱,回到Cherry Studio添加。


在知識庫設置中添加重排序模型,點擊確定。


再次搜索“曹操兵器”,倚天劍信息排到第二位,分數78%。重排序模型顯著提升了檢索精度。

缺乏全局視角

第三個痛點是缺乏全局視角。以AI生成的300條學生統計數據為例:

如需統計分析(如最大最小值),RAG難以勝任。向量數據庫只能匹配文本塊,無法整體分析。

將Excel文件添加到知識庫:

在聊天界面(使用DeepSeek,硅基流動提供),開啟知識庫。

提問“共有多少學生”,AI僅獲取六個片段。

實際有300個學生。

AI卻答120個。

因此,結構化或統計性問題建議用關系型數據庫。現在可通過MCP讓AI操作數據庫,效果更佳。

數據庫接入與配置

已將學生數據導入PostgreSQL數據庫。

數據準備與導入

借助ChatGPT將Excel數據轉為SQL語句,高效導入數據庫。以下為效果截圖,敏感信息已脫敏。


Cherry Studio環境配置

在Cherry Studio配置MCP server,使AI可訪問數據庫。進入設置,添加MCP服務器。

如出現紅色感嘆號,點擊查看詳情,按提示安裝UV和Bun依賴。



安裝完成后,編輯MCP配置。


數據庫接入MCP Server

在MCP配置頁面查找PostgreSQL MCP。可參考官方GitHub:PostgreSQL MCP

復制官方配置內容,粘貼到Cherry Studio。


將 postgresql://localhost/mydb 替換為自己的數據庫地址,格式如下:

"postgresql://<user>:<password>@<host>:<port>/<database>"

示例(已脫敏):

postgresql://db_user:db_password@db-host.example.com:5432/dbname?sslmode=require
  • db_user:數據庫用戶名

  • db_password:密碼

  • db-host.example.com:主機地址

  • 5432:端口(默認5432)

  • dbname:數據庫名

  • sslmode=require:強制SSL加密

點擊確定,啟動服務。



系統提示詞配置

回到聊天界面(需選擇支持函數調用的模型,模型名后有扳手圖標),選擇剛配置的Postgres MCP服務器。

編輯系統提示詞,先提供數據庫表結構信息。

擴展兩張表:課程表和選課成績表。

你是數據庫助手,以下是PostgreSQL表結構,請結合表結構和查詢結果回答用戶問題。
CREATE TABLE students (
    id SERIAL PRIMARY KEY,
    name VARCHAR(100),
    age INTEGER,
    phone VARCHAR(20),
    gender VARCHAR(10)
);
CREATE TABLE courses (
    course_id INTEGER PRIMARY KEY,
    course_name VARCHAR(100)
);
CREATE TABLE enrollments (
    id SERIAL PRIMARY KEY,
    student_id INTEGER REFERENCES students(id),
    course_id INTEGER REFERENCES courses(course_id),
    score INTEGER
);

效果驗證

保存后測試,如“學生總數是多少”。

AI可成功調用MCP server,通過SQL查詢返回結果。需選擇支持工具調用的模型。

再問“年齡最大的學生是誰”,同樣查詢成功。

測試復雜問題,如“哪些學生選修了數學課,分數最高前三名”。

AI可聯合三表查詢,準確返回結果。通過MCP server對接數據庫,結構化數據檢索效果遠超普通知識庫。

超長上下文模型的應用

此外,還可利用支持超長上下文的模型,將資料直接拖入對話框。

模型窗口進化與測試

如上圖,近兩年模型上下文窗口大幅提升。例如Gemini 2.0 Pro已支持2000萬token,可容納四大名著。以下以Gemini為例測試。

API密鑰獲取與模型配置

訪問谷歌AI Studio(需魔法上網)。

右上角“Get API Key”,點擊創建API密鑰。




復制API密鑰。

回到Cherry Studio,設置模型服務商為Gemini,填寫API密鑰。

添加模型,點擊“添加”,模型ID可在AI Studio選擇。以Gemini 2.0 Flash為例,支持100萬token上下文,且有免費額度。

復制Gemini 2.0 Flash模型ID。

回到Cherry Studio,填寫模型ID并添加。

切換聊天模型為Gemini 2.0 Flash。

清空助手默認Prompt。

知識庫檢索實戰

測試知識庫能力。以全本《三國演義》為例,用VSCode將張飛武器改為“丈九棒棒糖”,保存。

將全本《三國演義》拖入對話框,提問:“張飛造了什么兵器,請找到原文位置并據此回答。”

AI成功檢索到答案,第一回中張飛造“丈九棒棒糖”。本次任務消耗551266 token。

整個《三國演義》僅用了一半上下文窗口。利用Gemini超長上下文進行知識庫檢索,效率極高。

總結與展望

AI知識庫常被稱為“demo五分鐘,上線一年”。目前AI知識庫仍是復雜系統工程,無通用銀彈,項目落地需多工具協作。當前效果較好的方案是自適應RAG,根據查詢類型自動選擇檢索策略,結合多種方式提升精度。本文到此結束.

?轉自https://www.cnblogs.com/BNTang/p/18861128


該文章在 2025/5/8 8:57:00 編輯過
關鍵字查詢
相關文章
正在查詢...
點晴ERP是一款針對中小制造業的專業生產管理軟件系統,系統成熟度和易用性得到了國內大量中小企業的青睞。
點晴PMS碼頭管理系統主要針對港口碼頭集裝箱與散貨日常運作、調度、堆場、車隊、財務費用、相關報表等業務管理,結合碼頭的業務特點,圍繞調度、堆場作業而開發的。集技術的先進性、管理的有效性于一體,是物流碼頭及其他港口類企業的高效ERP管理信息系統。
點晴WMS倉儲管理系統提供了貨物產品管理,銷售管理,采購管理,倉儲管理,倉庫管理,保質期管理,貨位管理,庫位管理,生產管理,WMS管理系統,標簽打印,條形碼,二維碼管理,批號管理軟件。
點晴免費OA是一款軟件和通用服務都免費,不限功能、不限時間、不限用戶的免費OA協同辦公管理系統。
Copyright 2010-2025 ClickSun All Rights Reserved