分块的主要目的是为了确保嵌入的内容噪音尽可能少，但语义仍然保持关联。在做文本嵌入的时候，选择合适的模型，可以提升搜索的效果。但是模型再好，在数据切分的时候，丢失了语义信息，肯定不会有好多召回效果。看到这篇文章还不错。可以读英文的，可以直接看英文原文。 原文链接：ChunkingStrategiesforLLMApplications|Pinecone 在构建大语言模型应用的上下文中，分块指的是将大段文本切分成更小片段的过程。这是一项重要的技术，一旦使用大语言模型关联一些附加内容，分块可以帮助优化向量数据库返回内容的相关度。这篇文章将探讨分块是否可以以及如何帮助提高大语言模型相关应用的效率...