虹科干貨丨來抄作業(yè)！用Redis VSS，讓大語言模型更懂你

引導語：

好沮喪，大語言模型不懂我怎么辦，怎么也搜不到想要的答案(ㄒoㄒ)當當當當，Redis VSS閃亮登場，不必微調模型，也能輕松駕馭大語言，快速解答你的疑慮，滿足你的求知欲，你的AI好伙伴！

簡介：使用大型語言模型(Large Language Model, LLM)時，經常需要檢索與問題相關的數據作為語境，這是為了在不微調LLM的情況下，讓LLM了解您的自定義數據。向量搜索是一種很流行的數據檢索策略，因為它很擅長匹配相似的數據。Redis原生支持向量相似性搜索，專為速度而設計。

朋友圈文案：檢索不到想要的信息？怎么才能夠讓大語言模型更懂你呢？Redis VSS向量檢索來助力，更快的對話式搜索，讓大語言模型成為更懂你的朋友。
關鍵詞：Redis；向量檢索；大語言模型；

在這個簡短的教程中，我們將使用 Relevance AI、Redis VSS、OpenAI GPT 和 Cohere Wikipedia 嵌入創(chuàng)建一條LLM鏈，這使得我們能夠使用Redis向量搜索向百科提問，根據我們的問題搜索最相似的文章。對于嵌入向量，它們是表示各種類型數據的數字列表，在這里，我們使用Cohere多語言模型生成的嵌入向量。
為了按照本教程進行操作，您需要一個支持JSON文檔數據結構，且內置實時搜索和查詢功能的Redis數據庫。您可以選擇在Redis Enterprise Cloud上創(chuàng)建，或者在Docker中使用Redis Stack創(chuàng)建。

一、設置Redis作為向量數據庫

運行Redis之后，我們從HuggingFace上導入Cohere的多語言維基百科嵌入數據集，這只需要幾個簡單的步驟，您可以在這個jupyter筆記本中查看完整的代碼。

步驟 1. 安裝redis和datasets的Python庫。

步驟 2. 創(chuàng)建一個客戶端連接。

步驟 3. 下載樣本數據集。

步驟 4. 使用JSON將每個文檔導入Redis。

步驟 5. 創(chuàng)建一個向量搜索索引

此命令指定索引Wikipedia，該索引在JSON中存儲數據，其中所有鍵都使用前綴wiki:進行索引。在模式中，我們使用$.field_name引用JSON中的每個字段，并用名稱及其數據類型為其添加一個友好的標簽。向量字段“emb”是向量類型，并使用HNSW作為索引類型，L2作為距離度量方式。

命令運行后，您就擁有了支持向量相似性搜索的Redis索引。

二、建立LLM鏈

接下來，就可以進入Relevance AI筆記本開始構建我們的LLM鏈了。

步驟 1. 如有必要，請注冊Relevance AI的免費帳戶。登錄后，選擇“構建AI鏈”并點擊“創(chuàng)建新鏈”，您將進入到一個筆記本界面。

Relevance AI鏈筆記本

步驟 2. 在執(zhí)行LLM鏈之前，您需要配置您的OpenAI API密鑰和Redis鏈接字符串。請從側邊欄選擇“API keys”，然后提供您的Redis鏈接字符串和OpenAI API密鑰。

步驟 3. 選擇“從Prompt開始”，為“向量搜索(Redis)”添加新的轉換。使用以下詳細信息填寫表格：

• 索引名稱：您在Redis中創(chuàng)建的索引，即wikipedia。
• 向量字段：存儲嵌入的字段，對于維基百科數據集，這里填emb。
• 模型Model: cohere-multilingual-22-12，生成搜索查詢的向量嵌入。
• 搜索查詢: 我們快速為LLM鏈定義一個輸入。按{}并輸入{{params.question}}將其更改為變量模式。

Redis 向量搜索步驟及其輸入的示例。

步驟4. 配置LLM Prompt以使用向量搜索向Prompt中注入上下文并提問。您可以根據自己的需要自定義Prompt。

LLM 步驟的示例，該步驟從 Redis 搜索和查詢中獲取上下文并提出問題。

這是為了幫助人們查詢大量的信息。比如，你最喜歡周杰倫的《夜曲》，你想知道：“這首歌的吉他前奏是誰彈奏的？”有了LLM鏈，你就可以把這個問題扔給結合了AI的維基百科進行搜索，它會迅速給出答案。

這不僅僅是實踐新技術，更是快速地加深你的理解并滿足你的好奇心。我們的LLM鏈就像位知識淵博的朋友，熱情地與你清茶淡話，它隨時準備同你對話，這為知識搜索增添了一絲人情味。

三、部署鏈

Relevance AI提供了兩種部署鏈的方法：作為可嵌入的應用程序或作為API端點。應用程序也可以通過鏈接直接與用戶共享，用戶可以看到表格，填寫并運行LLM鏈，這些現(xiàn)在已經可以用于生產中了。

帶有可用于生產的 API 端點或可共享 URL 表單的LLM鏈的部署頁面

虹科是Redis原廠的中國區(qū)戰(zhàn)略合作伙伴。我們持續(xù)關注各行業(yè)當下急切需求，專注于為企業(yè)解答疑問，制定專屬服務，提供一站式數據庫和商業(yè)智能解決方案。了解更多【企業(yè)級數據庫解決方案】及【企業(yè)緩存指南】，歡迎前往虹科云科技官網！

聯(lián)系虹科工程師：15528663362

聯(lián)系方式鏈接：https://t.dustess.com/Fc6fpUjg

官網鏈接：https://hongcloudtech.com/