一传统方法 之前的文章已经介绍过向量数据库在RAG（RetrievalAugmentedGenerative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。 一般来说，构建生产环境下的RAG系统是直接使用Embedding模型对用户输入的Query进行向量化表示，并且从已经构建好的向量数据库中检索出相关的段落用户大模型生成。但是这种方法很明显会受到Embedding模型性能的影响，比如是否支持多语言、跨语言检索、训练数据的质量等。因此，以改进Embedding模型为目标提升RAG系统性能一般会有两种做法： 方法1，在使用向量模型获取密集向量后，再使用Cross-encoder...

前言 文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒度的获取 对于第一点，一般是把表格中的内容识别成文本，这样喂给大模型的时候就会出现一连串数字或者字母，这无疑会增大模型的理解难度；对于第二点，则是需要按照指定的长度对文档进行切分，或者把词按照一定的规则拼接到一块，这同样会损失到文本自身的上下文信息。 而本文接下来介绍的Open-parse这个库可以直接从...

简介 Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能ML工作负载和快速随机访问而设计。 快速开始 安装 pipinstalllancedb 目前0.6.8需要pyarrow-12.0.0及以上，亲测15.0会报错。 创建客户端 importlancedb importpandasaspd importpyarrowaspa uri="data/sample-lancedb" db=lancedb.connect(uri) 异步客户端 async_db=awaitl...

一简介 Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。 二基本用法 1安装 安装方式非常简单，只需要一行命令 pipinstakkchromadb 2创建一个客户端 importchromadb chroma_client=chromadb.Client() 3创建一个集合 这里面的集合用于存放向量以及元数据的信息，可以理解为传统数据库的一张表 collection=chroma_client.create_collection...