本章介绍金融领域大模型智能体，并梳理金融LLM的相关资源。金融领域的大模型智能体当前集中在个股交易决策这个相对简单的场景，不需要考虑多资产组合的复杂场景。交易决策被简化成市场上各个信息，包括技术面，消息面，基本面等等在不同市场情况下，对资产价格变动正负面影响的综合判断。 而使用大模型智能体最显著的优势，在于对海量信息的高效处理，存储，以及对相关历史信息的联想。不要和Agent比知识广度和工作效率这一点已经是普遍共识。下面我们看下这两篇论文使用了金融市场的哪些信息，分别是如何处理，思考并形成交易决策的。 FinMEM FINMEM:APERFORMANCE-ENHANCEDLLMTRADING...

前面我们已经聊过众多指令微调的方案，这一章我们重点讨论下如何注入某一类任务或能力的同时，尽可能不损失模型原有的通用指令理解能力。因为在下游或垂直领域应用中，我们设计的推理任务风格或形式，往往很难通过prompt来稳定实现。这种情况下就会依赖微调来注入稳定的推理风格，但同时在部分场景下我们又需要模型微调前的通用指令理解能力。虽然理论上说有得必有失，但成年人真的不想做选择！这里我们讨论两种方案，来尽可能降低通用能力的损失，一种数据方案，一种训练方案。 TwoStageFinetuneProMoT PreservingIn-ContextLearningabilityinLargeLanguag...

上一章我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON。 RLAIF RLAIF:ScalingReinforcementLearningfromHumanFeedbackwithAIFeedback RLAIF给出的方案是完全使用大模型来进行偏好样本的标注，论文主要测试了摘要任务，对话的无害性和有用性上，RLAIF能获得和RLHFg相似的效果。我们在后期也采用了机器标注，因为真的不标不知道一标吓一跳，想获得足够用来训练RL的高质量标注样本的成本大的吓人...... 既然...

在ChainofThought出来后，出现过许多的优化方案例如Treeofthought,GraphofThought,AlgorithmofThought等等，不过这些优化的出发点都更加"MachineLike",而非"HumanLike",哈哈不是说机器化不好，仅仅是对AGI的一些个人偏好而已。 所以如果我们从人类思考的角度出发，能否把当前模型的思考方式和人类的思考方式进行关联呢？我先问了下PPLX-70B人类思维有哪些分类（这个问题RAG真的不如模型压缩后回答的效果） 我们再把之前已经聊过的一些引导模型推理思考的prompt模板，以及工具调用的一些prompt方案和上面的人类思维逻辑...

去年我们梳理过OpenAI，Anthropic和DeepMind出品的经典RLHF论文。今年我们会针对经典RLHF算法存在的不稳定，成本高，效率低等问题讨论一些新的方案。不熟悉RLHF的同学建议先看这里哦解密Prompt7.偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析 RLHF算法当前存在的一些问题有 RL的偏好样本的人工标注成本太高，效率低，容易存在标注偏好不一致的问题 RLHF属于online训练策略，在训练过程中需要让模型进行解码，时间成本高训练效率低 RLHF在训练过程中需要同时部署Reward模型和SFT模型和更新后的模型，显存占用高训练成本高 RL...

已经唠了三章的RAG，是时候回头反思一下，当前的RAG是解决幻觉的终点么？我给不出直接的答案，不过感觉当前把RAG当作传统搜索框架在大模型时代下的改良，这个思路的天花板高度有限 反思来源于对RAG下模型回答的直观感受，最初我们被ChatGPT的能力所震惊，并不是它能背诵知识，而是模型在知识压缩后表现出的“涌现能力”，更具体到RAG所属的问答领域，是模型能够精准的基于上文从压缩的参数中召回并整合相应的知识，甚至进行知识外推的能力。通俗点说它有可能生成我在任何地方都检索不到的答案！ 但RAG当前的多数使用方法，采用只让模型基于检索到的内容进行回答的方案，其实限制了模型自身对知识压缩形成的智能，大模...

话接上文的召回多样性优化，多路索引的召回方案可以提供更多的潜在候选内容。但候选越多，如何对这些内容进行筛选和排序就变得更加重要。这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架，这一章对应排序+重排环节，考虑排序中粗排和精排的区分主要是针对低延时的工程优化，这里不再进一步区分，统一算作排序模块。让我们先对比下重排和排序模块在经典框架和RAG中的异同 排序模块 经典框架：pointwise建模，局部单一item价值最大化，这里的价值可以是搜索推荐中的内容点击率，或者广告中的ecpm，价值由后面使用的用户来决定 RAG：基本和经典框架相同，不过价值是大模型使用上文多大程度可以回答...

几个月前我们就聊过RAG的经典方案解密Prompt系列14.LLMAgent之搜索应用设计。前几天刚看完openAI在DevDay闭门会议上介绍的RAG相关的经验，有些新的感悟，借此机会再梳理下RAG相关的优化方案。推荐直接看原视频（外网）ASurveyofTechniquesforMaximizingLLMPerformance RAG最关键的一环其实不是LLM而是相关内容的召回，作为大模型推理的上文，优秀的内容召回应该满足以下条件： 多样性和召回率：召回的内容要可以回答问题，并且内容丰富度，包括同一问题多个观点，多角度 相关性和准确率：召回内容和问题相关，总不能召回100篇里面只有2篇和...

在之前的LLMAgent+DB的章节我们已经谈论过如何使用大模型接入数据库并获取数据，这一章我们聊聊大模型代理在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，数据建模，数据洞察和数据可视化的步骤。可以为经常和数据打交道，但是并不需要太过艰深的数据分析能力的同学提供日常工作的支持，已看到很多BI平台在尝试类似的方案。这里我们聊两篇论文：Data-Copilot和InsightPilot,主要参考一些有意思的思路 数据分析：Data-Copilot paper:Data-Copilot:BridgingBillionsofDataandHumanswithAutono...

重新回来聊Agent，前四章的LLMAgent，不论是和数据库和模型还是和搜索引擎交互，更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界！分别介绍斯坦福小镇和Chatdev两篇论文。它们的共同特点是使用多个大模型智能体协同完成任务。 多智能相比单一智能体可能有以下的应用场景 协同任务完成/创意生成：通过多智能体间的沟通，反思，校验，完成复杂任务，激发创意的小火花 模拟世界：多智能体模拟社会环境，现实应用是游戏NPC，脑洞再大一点是不是可以用于社会学研究，因果推断，平行世界模拟？？ 生活番：GenerativeAgents GenerativeAgents:Inter...

话接上文的指令微调的样本优化方案，上一章是通过多样性筛选和质量过滤，对样本量进行缩减，主打经济实惠。这一章是通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。 Microsoft：WizardLM WizardLM:EmpoweringLargeLanguageModelstoFollowComplexInstructions https://github.com/nlpxucan/WizardLM 要点：使用prompt对种子指令样本进行多样化，复杂化改写可以有效提升模型效...

前三章我们分别介绍了思维链的使用，原理和在小模型上的使用。这一章我们正式进入应用层面，聊聊如何把思维链和工具使用结合得到人工智能代理。 要回答我们为什么需要AI代理？代理可以解决哪些问题？可以有以下两个视角 首先是我们赋能模型，如果说LLM是大脑，那Agent提供了手脚和感官 感官：获取真实世界的信息，包括实时信息像天气情况，金融市场，交通状况；包括私有信息例如用户个人数据；包括多模态信息像声音和图像 手脚：获得和真实世界交互的能力，例如运行python脚本，调用搜索引擎，预定机票酒店。 其次是模型赋能我们，Agent加持的大模型，作为更优的数据和任务中介/代理，赋予了我们和任意数据类型交...

上一章我们介绍了基于Prompt范式的工具调用方案，这一章介绍基于模型微调，支持任意多工具组合调用，复杂调用的方案。多工具调用核心需要解决3个问题，在哪个位置进行工具调用(where),从众多工具中选择哪一个(Which),工具的输入是什么(What)。Where+Which+What，我称之为3W原则，3H它兄弟哈哈哈哈 其实如何教大模型使用工具，和教人类使用工具没啥区别。就像上周末我想给我妈买的可以防弹，超重的岩板餐桌按个滑轮需要使用电钻，那我学习使用电钻的途径无非有三种 基于历史经验：我之前都是手动的没用过电动的，我凭借自信直接上手结果拧歪了......对应到LLM其实就是本章要提到...

LLMAgent中间插个队，总结下指令微调、对齐数据相关的方案，已经凑够7篇论文可以召唤神龙啦！论文都是以优化指令样本为核心，Data-Centric的观点比较一致：指令微调也就是对齐阶段的数据质量>>数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型。注意以上三者是充分必要关系，不是说数据越少越好，是三者的有机统一。 如果你对指令微调还不甚了解，建议先看看下解密Prompt系列4.升级InstructionTuning。 当前对指令微调部分的普遍认知有两个思路 抽象派：把模型输出和人类偏好进行对齐 务实派：赋予模型任务指令的理解和完成能力 两个思路其实殊途同归...

这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(n^2)的计算和内存复杂度，也限制了Transformer在长文本中的应用。 之前对长文档的一些处理方案多是暴力截断，或者分段得到文本表征后再进行融合。这一章我们看下如何通过优化attention的计算方式，降低内存/计算复杂度，实现长文本建模。Google出品的EfficientTransformers:ASurvey里面对更高效的Transformer魔改进行了分类，这一章我们主要介绍以下5个方向： 以Transformer-XL...

今天来聊聊非常规的损失函数。在常用的分类交叉熵，以及回归均方误差之外，针对训练样本可能存在的数据长尾，标签噪声，数据不均衡等问题，我们来聊聊适用不同场景有针对性的损失函数。第一章我们介绍，当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声。代码详见pytorch,Tensorflow SymmetricLossFunction paper:MakingRiskMinimizationToleranttoLabelNoise 这里我们用最基础的二分类问题，和一个简化的假设"标注噪声和标签独立且均匀分布"，来解释下什么是对标注噪声鲁棒的损失函数。假设整体误标注...

在前面的几个章节中，我们介绍了几种基于不同半监督假设的模型优化方案，包括MeanTeacher等一致性正则约束，FGM等对抗训练，minEntropy等最小熵原则，以及Mixup等增强方案。虽然出发点不同但上述优化方案都从不同的方向服务于半监督的3个假设，让我们重新回顾下(哈哈自己抄袭自己)： moothness平滑度假设：近朱者赤近墨者黑，两个样本在高密度空间特征相近，则label应该一致。优化方案如Mixup，一致性正则和对抗学习 Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的label，这个强假设其实是Smoothness的特例 Low-densitySeparat...

借着ChatGPT的东风，我们来梳理下prompt范式的相关模型。本系列会以ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing这篇综述为基础，分门别类的整理下这几年比较有代表性的prompt模型。或许你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Contextlearning，few-shotlearning等等 开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-FreePrompt为线索串联GPT2，GPT3，LAMA和AutoPrompt这四种...

这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。 在小样本场景，固定prompt微调LM对比常规微调的优点，在分类任务上比较直观我能想到的有三点(在下面PET中会细说） 无需额外的分类层的参数引入，微调成本低 标签词本身前置语义信息的引入，无需重头学习可类比MRC 微调和预训练的Gap更小，任务转化成LM任务后一致性高 T5 paper:2019.10ExploringtheLimitsofTran...

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prompt作为探针能否引导出预训练模型在下游任务上的特定能力。 固定LM微调Prompt的范式有以下几个优点 性价比高！微调参数少，冻结LM只微调prompt部分的参数 无人工参与！无需人工设计promp...