1.研发背景

随着 LLM（Large Language Model）的快速发展，如ChatGPT、GPT-4 等，越来越多的开发者开始利用这些模型或者OpenAI接口来构建各种应用程序。然而，对于那些没有深入了解LLM但是想利用LLM作为基础底座构建上层应用的开发者来说，这个过程可能会变得复杂和耗时。其中涉及到的一些关键问题，如：如何构建最合适的prompt（提示语）以获得最理想的输出结果、如何构建本地私有知识库以用于垂直领域、如何选用合适的LLM模型满足特定需求等。为了简化这一过程使开发者能够更轻松地构建和部署基于LLM的应用程序，信也科技研发了一个LLM应用开发框架E-LADF（Easy build - Large language model Application Development Framework），旨在提供一系列功能接口帮助开发者方便、快速地构建和部署基于LLM的应用程序，大大简化了开发流程，减少了开发者需要处理的复杂性和耗时性任务。这使得更多的开发者能够参与到基于LLM的应用程序开发中来，从而推动LLM在各个领域的应用和发展。

Figure1：基于E-LADF构建上层应用

2.E-LADF核心功能介绍

E-LADF核心接口功能包含本地知识库管理、基于本地知识库的问答、通用场景流式对话和文本实体抽取四部分。此外，E-LADF在大模型支持方面具有出色的灵活性和可扩展性，它不仅适配并支持云服务商的LLM服务接口，还提供本地化部署方案，并进行了相应的适配工作。

2.1.本地知识库管理

通过向量数据库做私有知识库管理是E-LADF的一个重要特性。私有知识库是指开发者可以自定义和管理的一组垂直领域的知识和信息，用于提升大模型应用程序的个性化和定制化能力。E-LADF框架集成了向量数据库技术，通过将私有知识库中的文本数据（如.pdf、.docx、.html等）转化为向量表示并存储在向量数据库中，开发者可以高效、灵活的管理和利用领域知识，并根据文本的相似性进行快速的查询与输入文本高度相关的知识和信息，将其与大模型应用结合起来实现更加个性化和定制化的应用程序。

Figure2：非结构化文档向量化及存储

2.2.通用场景流式对话

       通用的流式对话接口旨在为开发者提供通用的对话功能，其重点在于通用性和流式输出，可以用于多种普适的应用场景，包括聊天机器人、语音助手、智能客服等。开发者可以使用该接口与LLM模型进行动态的对话交流，不断发送消息并接收模型的回复，实现连续的对话流程。同时，后台还提供了上下文管理功能，实时记录先前的对话历史，使模型能够理解上下文，生成连贯和一致的回复。

2.3.基于本地知识库的问答

基于本地知识库的问答接口允许开发者利用大语言模型和向量数据库检索（与2.1私有知识库管理结合使用）进行知识的提取和问答。该接口的设计旨在帮助开发者构建强大的垂直领域知识问答系统，能够根据用户提供的问题从文档集合中准确地获取答案。

Figure3：基于本地知识库的问答

2.4.长文本实体抽取与摘要

通过调用实体抽取接口，开发者可以将长文本和待抽取实体类型作为输入，接受到一个结构化的输出，这样的接口可以广泛的用于信息抽取、摘要、知识图谱构建、文本分析和语义理解等领域。在后台实现中，当接收到用户输入的文本和待抽取实体类型时，服务端首先对输入进行解析并组织成高效的prompts，然后将其输入到LLM模型中。接着，对LLM的输出进行解析，以获取用户所需的格式化结果。

2.5.GPT模型多样性支持

       E-LADF除了支持适配OpenAI的ChatGPT服务接口之外，还提供了本地化方式部署LLM的功能。这一特性使得用户在使用E-LADF的过程中，可以摆脱对云服务提供商的依赖，从而拥有更高的数据隐私和安全性，并且更好地掌控计算资源的使用。目前，E-LADF已经成功集成并支持了几个性能仅次于ChatGPT在英文和中文上表现优秀的本地LLM模型，包括ChatGLM、Vicuna、Bloomz系列模型，用户甚至可以基于这些模型进行finetune，以满足特定应用场景更高精度的需求。

3.总结&展望

随着大模型技术的不断发展，大模型应用框架有着广阔的发展前景。未来，我们可以期待在以下方面对E-LADF进行更多的改进：首先，支持更多的大语言模型，使开发者能够根据需求选择最适合的模型；其次，加强框架的可扩展性和定制化能力，满足开发者在不同场景下的使用需求；然后，增强框架的性能和效率，如可以采用并行计算、硬件加速和优化算法等技术手段，满足开发者高效运行和处理大规模数据的需求；最后，提供更多的应用示例和案例，这些示例可以涵盖各个领域，包括自动问答系统、摘要生成、智能客服和对话系统、金融智能分析与预测等，帮助开发者更好地理解和使用框架，从而为开发者提供实践指导和灵感。

总的来说，大模型应用框架在推动大模型技术的应用和发展方面起着重要的作用。通过不断创新和改进，E-LADF将进一步提高开发者的开发效率，降低开发门槛，并推动大模型技术在各个领域的广泛应用。