大型語言模型，俗稱法學碩士，是人工智慧產業中爭論最激烈的議題之一。我們都知道 OpenAI ChatGPT 的可能性和功能。最終，利用這些法學碩士，我們會發現使用數據的許多新可能性。
但由於其設計限制和許多其他因素，你不能僅僅期望法學碩士能提供一切。但是使用向量搜尋的概念為我們提供了一種新型應用程序，稱為檢索增強生成（RAG）應用程式。因此，讓我們看看什麼是 RAG 應用程式、如何使用它們來解決新問題、如何使用 Couchbase 開發它們，並詳細概述向量搜尋如何幫助開發這些應用程式。
在我們進入應用程式的背景之前，以下是我們正在建立的架構圖以及 LangChain 如何與之連結的架構圖：
檢索增強生成 (RAG)
RAG 提供了一種在不修改底層模型本身的情況下透過目標資訊增強 LLM 輸出的方法，這樣目標資訊可以比 LLM 更新並且特定於特定組織和行業。這意味著生成式人工智慧系統可以針對提示提供更符合上下文的答案，並將這些答案基於最新的數據。讓我們用一個現實生活中的例子來理解這個概念。
假設您屬於組織 X，該組織的資料庫中儲存了大量數據，您負責開發一個應用程序，該應用程式要求使用者輸入並根據資料庫中存在的數據給出輸出。
最初您可能會想，這看起來很簡單，對吧？如果您了 阿聯酋 電話號碼庫 解法學碩士以及如何利用它們來滿足您的需求，那麼這就是一項簡單的任務。如果您想提高成本效益，您只需選擇 OpenAI LLM 或 Llama 和 Mistral 模型，然後將使用者問題傳送給 LLM 並獲得結果。
但這裡有一個大問題…
例如，假設您使用的是 Llama 2 LLM 8B 類型。
現在，該模型幾乎使用公共互聯網上存在的所有資料進行了訓練。您提出任何問題，甚至是有關您的組織 X 的問題，它都會為您提供最接近的正確答案。
現在讓我們對您的問題陳述做一點小小的修改。資料庫中存在的大量數據 探索各種類型的體育博彩 不再是公共數據，而是私有數據。這意味著 Llama 2 不知道你的數據，你將不再給你正確的答案。
考慮到上述場景，考慮使用者問題：“組織 X 中的組件 C 有哪些更新？”
那麼，如何解決這個問題呢？
您可能會想，為什麼我們不傳遞資料庫中存在的全部資料以及提示，以便法學碩士可以使用資料作為上下文並回答問題。但這裡有一個大問題，所有的法學碩士都有一個稱為令牌限制的約束。不討論什麼是標記等，現在 喀麥隆數據 考慮 1 個標記 == 1 個單字。
可惜的是，Llama 2 的令牌大小限制為 4096 個令牌（字）。假設資料庫中存在的整個資料有 10M 個單詞，那麼就不可能傳遞整個資料以用於上下文目的。