AI大模型能够处理广泛主题的文本生成，但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用，你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中，即检索增强生成（RetrievalAugmentedGeneration，RAG）。 LangChain应用开发指南系列课程，没有看过的小伙伴可以点击链接查看：AI课程合集 在本文中，我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构，讨论相关的LangChain组件，并展示如何跟踪和理解我们的应用。 RAG的基本概念 RAG是一种结合...

在之前的课程中，我带领小伙伴们使用开源项目实现了将星火模型的OpenAI-API接口适配转换封装，没有看过的小伙伴可以点击链接查看：AI课程合集 但是这种做法的局限性也很强，只能使用开源项目适配过的大模型，并且由于多了一层适配代理，接口的性能也存在一定损耗。今天，我将给大家介绍一个更加通用的方案，基于LangChain平台提供的LLM基础模型，完成任意模型接口的封装。 LangChain与大模型交互的核心模型-LLM LLM（语言逻辑模型）是LangChain平台与各种大模型进行交互的核心模型，它是一个抽象的概念，可以理解为一个能够处理语言输入和输出的黑盒。 LLM的输入是一个字符串，表示用...

引言 实现AI电影剪辑是一项非常复杂和困难的任务，它涉及到多个领域和技术的交叉和融合，比如计算机视觉，自然语言处理，多媒体处理，机器学习，深度学习等。目前，AI电影剪辑还处于一个初级的阶段，还存在着很多的问题和挑战，比如如何准确地理解电影的内容，如何有效地生成合适的解说文案，如何精确地匹配合适的视频片段，如何优雅地制作出流畅的电影短视频等。 今天我将给大家介绍另一个取巧的思路，通过字幕批量剪辑电影短视频。 由于文章较长，代码很多，今天是全文的第一个部分-设计思路。 设计构思 我们的目标是希望能做一款批量电影视频解说短视频的AI工具，目前来看从视频->画面->文案->解说，对于...

人人都能用好大模型-结构化的Prompt让你轻松上手 Prompt，中文可以翻译为提示词，是一种用于引导大模型生成特定内容的文本输入。Prompt的作用是告诉大模型你想要它做什么，以及给它一些必要的信息和约束条件。Prompt的好坏直接影响了大模型的输出质量和效率。 Prompt的写作是一门艺术，也是一门科学。艺术在于如何用简洁、精确、有趣的语言来激发大模型的创造力，科学在于如何用结构化、迭代、优化的方法来提高大模型的准确性、效率和鲁棒性。本文将从这两个方面来介绍一些Prompt的写作技巧，希望能够帮助你更好地利用大模型的强大能力。 通用的Prompt框架 Prompt的写作并不是一件随意的...

由浅到深，揭示ChatGPT提示词背后的本质，让它火力全开 你是否曾经想过，当你在使用ChatGPT这样的AI模型时，你输入的文字是如何影响模型的输出的？你是否知道，有一些特殊的文字，可以像咒语一样，引导模型发挥出最大的能力，甚至让它做出你想不到的事情？你是否想了解，如何与模型有效地沟通，让它成为你的得力助手，而不是你的对手？ 如果你对这些问题感兴趣，那么本文就是为你准备的。本文将从浅到深，揭示ChatGPT提示词背后的本质，让你了解AI提示词的实用技巧和原则，以及提示词工程的意义。 指令性提示词的作用和来源 指令性提示词，顾名思义，就是具有指令性质的提示词。它们通常是一些特定的格式或者语...

朋友们大家好,今天我们来聊聊最近AI圈那场轰轰烈烈的“内斗”。 这也是我星辰大海系列的第二篇，有兴趣的小伙伴，可以查看下合集星辰大海系列。 事情的起因是OpenAI董事会的改组。OpenAI的联合创始人之一伊利亚·萨特奥斯基(IlyaSutskever)与另一位创始人山姆·奥特曼(SamAltman)发生了严重分歧,导致伊利亚退出了董事会。这两位创始人代表了AI行业两大主要派系:有效加速主义(EffectiveAltruismConstructor,EACC)和有效利他主义(EffectiveAltruism,EA)。 加速派如山姆·奥特曼,主张利用资本和技术的力量快速推动AI创新,实现新...

上节课，我我为您介绍了LangChain中最基本的链式结构，以及基于这个链式结构演化出来的ReAct对话链模型。没有看过的小伙伴可以点击链接查看：AI课程合集 今天我将由简入繁，为大家拆解LangChain内置的多种记忆机制。本教程将详细介绍这些记忆组件的工作原理、特性以及使用方法。 历史对话全带上,记忆居然如此低级 随着大模型的发展,语言模型已经能够进行逻辑自洽的对话。但是与人类智能相比,机器对话仍然存在短板,其中一个重要因素就是“记忆力”的缺失。何为记忆力?简单来说,就是机器需要能够记住之前的上下文和知识,并运用这些“记忆”,使对话更加流畅合理。 ConversationBuffe...

PDF文件具有跨平台的特点，可以在不同的操作系统和设备上保持一致的显示效果。但是，PDF文件也有一些缺点，比如不易编辑、复制和搜索。如果我们想要从PDF文件中提取文本内容，该怎么办呢？ 在本教程中，我们将介绍如何使用Python中的PyPDF2库来提取PDF文件中的内嵌文字内容。PyPDF2是一个纯Python的库，可以读取、分割、合并、裁剪和转换PDF文件。它不需要安装任何其他的依赖库，也不需要调用外部的程序或服务。 安装PyPDF2库 要使用PyPDF2库，我们首先需要安装它。我们可以使用pip命令来安装，如下所示： pipinstallPyPDF2 如果安装成功，我们可以在Pyt...

星舰，又炸了。但我看到了照亮整个宇宙光 你好，我是AI小智。今天咱们不聊大模型，咱们聊聊科技圈的另一个大事，SpaceX的星舰火箭昨天升空试飞，它又炸了。 以防有些小伙伴不了解背景，我们先来简单介绍下马斯克的星舰火箭和之前的发射经历。 星舰火箭是SpaceX正在研发的下一代重型运载火箭，它的目标是将人类送往月球、火星和更远的太空。它由两部分组成：一级助推器和二级飞船，共有33个猛禽发动机，高达120米，重达5000吨，是全球最大、最强的火箭。 星舰火箭的特点是完全可重复使用，它的一级助推器在完成任务后会返回地球以便二次使用，而二级飞船则可以在太空中进行多次飞行。它的燃料是甲烷和液氧，这种组...

代码实操，你也能上手实现大火的GPT视频解说 你可能已经看过最近大火的一个视频，一个用GPT-4V解析梅西的进球的视频。这个视频展示了GPTs的强大能力，它可以识别视频中的每一帧的内容，并生成相应的文字描述，然后用TTSAPI来将文字转换为语音，最后合成一个包含视频和语音解说的文件。这个功能可以用于多种场景，比如教育，娱乐，新闻，等等。 那么，你想知道这个视频是如何制作的吗？你想自己也尝试用GPT来解说你喜欢的视频吗？如果是的话，那么你来对地方了。在本教程中，我将带你一步一步地学习如何用GPT实现实时解说视频的功能。你不需要有任何编程经验，只需要跟着我做就可以了。你准备好了吗？那么，让我们...

LangChain开发环境准备-讯飞星火OpenAI标准接口封装 在之前的课程中，为了帮助大家完成LangChain开发环境准备，我带领小伙伴们完成了模型的本地部署，OpenAI-API接口封装，以及线上环境部署（AI大模型私有部署的技术指南）。 但是由于网络或者机器配置的限制，许多小伙伴们还是没能完成搭建。今天，我将带你学习如何使用讯飞星火OpenAI标准接口封装，为LangChain开发环境做好准备。 注册并开通讯飞星火模型API 使用讯飞星火API的原因很简单，因为官方提供了超大额度的免费token，大家在测试时可以尽情享用。相关注册与API开通的过程也很简单，官方也提供了详尽的操作...

LangChain大模型应用开发指南-从最基础的链式结构到ReAct对话解构 上节课，我介绍了如何使用LangChain的六大核心概念和组件，构建一个基于语言模型的问答系统。没有看过的小伙伴可以点击链接查看：AI课程合集 今天我将拆解上节课讲授的问答系统案例，将其中涉及到ModalI/O组件的部分拆解出来进行深度精讲，基于最基本且最典型的IO链式结构作为引入及过渡后讲解问答系统中使用到的React对话模型，并最终教会你是什么样的化学作用，使得最简单模板套用衍生出如此复杂的应用模式。 案例回顾与分析 首先我们将上节课的问答系统进行深度简化，仅保留与ModalI/O组件相关的部分，代码如下...

Python自动查重：原理、方法与实践 什么是自动查重？ 自动查重是指使用计算机程序来比较两个或多个文件的内容，判断它们之间是否存在相似或相同的部分，从而检测出抄袭或重复的情况。自动查重可以用于学术论文、代码、文本等各种类型的文件，帮助提高原创性和质量。 为什么要使用Python进行自动查重？ Python是一种广泛使用的编程语言，具有简洁、易读、灵活和强大的特点。Python中有许多现成的库和工具，可以方便地实现自动查重的功能。其中，difflib库就是一个专门用于比较文件和字符串差异的库，它提供了多种方法和API，可以根据不同的需求和场景进行自动查重。 如何使用Python中的diffli...

Python图像转PDF神器：教你一步到位实现自动化处理 什么是img2pdf库？ img2pdf是一个Python库，它可以让你轻松地把多张图像转换为PDF文件。它支持多种图像格式，如JPG,PNG,GIF,BMP等，并且可以自动调整图像的大小和方向，以适应PDF的页面大小和方向。它还可以让你设置PDF的元数据，如标题，作者，主题等。 为什么要使用img2pdf库？ 有时候，你可能需要把一些图像文件整理成一个PDF文件，以便于打印，分享或存档。例如，你可能想把一些扫描的文档，照片或漫画转换为PDF文件。或者，你可能想把一些数据可视化的图表或报告转换为PDF文件。使用img2pdf库，你可以...

LangChain大模型应用开发指南-传统编程范式思维的应用 上节课，我带领小伙伴们完成了baichuan2量化模型的OpenAI标准接口封装，并完成LangChain对大模型的调用与测试。 今天我们将正式开始LangChain大模型应用开发课程。 组件总览 上图为LangChain的组件与架构图，基本完整描述了LangChain的组件与抽象层以及它们之间的相关联系。主要包括以下六个部分，基于同传统软件开发的比较，我将其分为两个类型： 传统编程思想的AI工程化应用 Chains：链，用于组合组件的结构化方式 Agents：代理，用于执行特定任务的组件 Callbacks：回调，用于...

LangChain大模型应用开发指南-AI问答系统概念串讲 上两节节课，我以传统应用编程设计模式和思维为入口和对比对象，介绍了LangChain应用开发架构中的六大核心概念与组件，并整理了LangChain为众多开发者内置的能力与工具。没有看过的小伙伴可以点击链接查看：AI课程合集 今天我将整合之前讲授的六大组件，以一个面向实际场景的AI问答系统的开发案例将所有内容整合串讲，帮助大家更加深刻的理解之前的理论和概念，话不说多，showmethecode。 使用LangChain构建一个问答系统？ 在本节中，我将给您展示如何使用LangChain构建一个基于语言模型的问答系统，它可以根据用户...

科普神文，GPT背后的Transformer模型 上次《解读AI大模型，从了解token开始》一文中，我从最基础的概念“token”着手，跳过了复杂的算法逻辑，相信已经让大家建立起对AI大模型工作原理的清晰认知。 但如果仅仅只是依靠对文本的编码与数据分析，那人工智能时代应该早就到来了，为什么唯独是GPT模型的诞生开启了人工智能大模型的全盛时代？今天我将带您一探究竟，看看GPT背后的Transformer模型。 什么是Transformer？ Transformer是一种新颖的神经网络架构，它在2017年由Google的研究人员提出，用于解决机器翻译等自然语言处理的任务。Transformer的...

解读AI大模型，从了解token开始 上次《科普神文，一次性讲透AI大模型的核心概念》一文中，我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。 但是收到不少非技术背景的小伙伴反馈，相关的算法内容的解释技术性还是太强，很难完全理解。所以这次，题主从最基础的概念“token”着手，跳过了复杂的算法逻辑，这次一定让你建立起对AI大模型工作原理的清晰认知。 什么是token？最小的语义单元 你可能会好奇，大规模语言模型是如何工作的呢？它们是如何从数据中学习到语言的呢？它们是如何根据输入来生成合理的文本延续的呢？为了回答这些问题，我们需要从最基础的概念开始讲起：toke...

Python自动化写作神器：告别语法拼写错误的秘诀 写作是一种常见的沟通方式，无论是在学习、工作还是生活中，我们都需要用文字来表达自己的想法和观点。但是，写作并不是一件容易的事情，尤其是当我们使用非母语时，很容易出现语法和拼写错误，影响了文章的质量和可读性。有没有一种方法可以让我们在写作时自动检查和纠正这些错误呢？答案是肯定的，那就是使用Python自动化写作神器：lmproof库。 lmproof库简介 lmproof是一个基于深度学习的语言模型校对库，它可以帮助我们使用Python校对，自动化消除写作中的语法和拼写错误。它利用了预训练的语言模型（如BERT、GPT-2等）来生成和评估候...

令牌，向量，嵌入，注意力，这些AI大模型名词是否一直让你感觉熟悉又陌生，如果答案肯定的话，那么朋友，今天这篇科普神文不容错过。我将结合大量示例及可视化的图形手段，为你由浅入深一次性讲透AI大模型的核心概念。 引言 随着科技公司及国际竞争的不断推进，AI大模型已经越来越多融入我们的生活。作为一个普通人或许不需要研究高深的AI算法，但想在这次AI浪潮中不被抛弃，必须对LLM原理有一个基本的理解。 理解LLM（即LargeLanguageModel，大语言模型）如何生成文本也就意味着理解这些模型为什么是如此通用的认知引擎——以及它们还能帮助创造什么。 令牌化和向量化（Token&Vec...