转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 概述 自然语言处理NLP任务的实现，相比较以前基于传统机器学习算法实现方法，现在越来越集中使用大模型来实现。通过——数据标注-模型训练-模型调优/微调-模型压缩-预测部署的大模型流程，覆盖NLP多场景满足开发者落地实现与灵活定制的需求。PaddleNLP是其中典型的NLP解决方案库，通过聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。 预训练基座模型主要以ERINE系列大模型为主，毕竟是自家的噻。 之前相关的NLP系列文档也是...

转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 概述 在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模型(基于ChatGLM3)大多数时候返回空，继续正常提问，还是空的。此时模型相当于已经挂了。普遍来看，敏感词汇的覆盖场景是比较多的，尤其是控制不了用户的输入，很有可能就会恶意或无意的输入敏感词，而模型如果不能正常的回复，或是屏蔽这类词汇，很容易就会出现我的问题。 解决策略 从整个流程分析来看，敏...

转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 背景 目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5和安卓两个客户端调用。但却发现了不能并发访问的问题。 问题现象 在安卓与H5同时调用ChatGLM的API接口（流式接口）时，其中有一个客户端的返回是正常的，而另一个客户端返回却是乱码（解码后是空数据），同时模型报错。报错内容与问题请看issue。官方回复如下：后来我测试用多卡部署模型，比如3卡，此时可以支持3个以下的用户调用，但再多...

转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 多模态：文本、音频、视频、图像等多形态的展现形式。目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下，审视下多模态大模型的实现方式。首先就要区分输入与输出，即输入的模态与输出的模态。从目前来看，模型的输出大多都是文本，模型的输入一般是图片/文本；但少数的大模型比如QWen、讯飞星火等支持语音的输入。 输入 对于输入来说，最需要考虑的就是Embedding。不管是哪种大模型，其最终的输入都是张量数字的形式；其模型的结构都是神经网络模型，而神经网络模型计算的单位是张量...

转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote SSE：ServerSentEvent；服务器发送事件。Server-SentEvents（SSE）是一种由服务器向客户端推送实时数据的技术。它是构建基于事件的、服务器到客户端的通信的一种方法，特别适用于需要实时更新和推送信息的应用场景，如实时通知、股票交易、实时游戏状态更新等。SSE的工作原理是，一旦客户端（通常是浏览器）与服务器建立连接，该连接会保持开放状态，服务器就可以推送事件给客户端，直到客户端或服务器决定关闭它，而无需客户端不断地询问服务器是否有新消息。这大大减少了网络通信量，提高了应用...

转载请注明住处：https://www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的数据集中，一般是如下格式： [ { "conversations":[ { "from":"human", "value":"IsawadressthatIliked.Itwasoriginallypricedat$200butit'sonsalefor20%off.Canyoutellmehowmuchitwillcostafterthediscount?" }, { "from":"function_call", "value":"{\"name\":\"calcu...

转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 近来，工作偏向于心理医疗领域方面的大模型，仅从领域大模型的落地，聊聊个人的一些思考。 硬件 准备好花钱买GPU。 领域大模型 业务场景的思考 首先需要审视斟酌业务领域的特殊性与可行性，我们要做的是心理领域，而心理领域倾向于医患对话，即询问链的场景；不仅仅是一问一回答的角度，而作为智能体(AI模型/医生)还需要对患者的回答进行引导/打分，且作为问询对话场景，对话上下文的长度必然不会少，这也是需要考虑的问题。其次，治疗时的患者，会处于不同的治疗阶段，就需要做不同的治疗，治疗的侧重点就会不一样。总之，在...

转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote 参考现有的中文医疗模型：MedicalGPT、CareGPT等领域模型的训练流程，结合ChatGPT的训练流程，总结如下：在预训练阶段，模型会从大量无标注文本数据集中学习领域/通用知识；其次使用{有监督微调}(SFT)优化模型以更好地遵守特定指令；最后使用对齐技术使LLM更有用更安全的响应用户的提示。训练流程的四个阶段，分别如下： 预训练(pre-training，pt)，基于基座模型，经过海量中文医疗预料训练，得到领域适配的ChatGLM-6B。 监督微调(supervisedfinetuni...

转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote/ 参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。最终基于liucongg/ChatGLM-Finetuning开源框架成功的微调出来我想要的结果。 服务器环境 阿里云PAI平台 开源库下载 在服务器上通过git一键下载即可： ChatGLM-6B下载 直接在服务器上，通过魔塔社区的sdk下载代码一键下载即可：我加了一句代码打印出下载地址，然后通过mv命令拷贝到...

转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote 微调框架概述 模型的微调有多种方式，对于入门的来说，一般都是基于官方的文档微调；最近发现很多开源库，其目的就是支持应用多种微调策略来微调模型，简化模型的微调门槛。比如ChatGLM-Efficient-Tuning、LLaMA-Factory。其架构逻辑如下：最近试玩了这两个框架，个人觉得蛮好的，先不说实际的调试效果，这取决于多种因素，总的来说还是很方便快捷的。方便快捷的基于多种微调策略调试LLM；同时支持多种数据集类型。 LLaMA-Factory 这个开源库相比较其余的库，更全面，更方便。有如...

基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel 官方的描述是处理权重初始化的抽象类，以及下载和加载预训练模型的接口。 掩码 如下是GLM模型的掩码结构，在此抽象类中，由get_masks函数处理 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ defget_masks(input_ids,device): batch_size,seq_length=i...

论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ P-Tuningv2 摘录自第三部分 桔色块指代可训练的promptembedding；蓝色块是由固定(冻结)的预训练语言模型存储或计算的embedding。 DeepPromptTuning continuousprompts(连续提示)仅仅能够插入到inputembedding序列层。如此，有两个问题：首先由于序列长度的约束限制，可调参数的数量有限。其次，输入的embedding对模型预测有间...

基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用：在微调时（以P-TuningV2为例），方法训练时冻结模型的全部参数，只激活PrefixEncoder的参数。其源码如下，整体来看是比较简单的。 classPrefixEncoder(torch.nn.Module): def__init__(self,config): super().__init__() self.prefix_projection=config....

基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。transformer结构： 转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/ 位置编码 ChatGLM-6B的位置编码采用的旋转位置编码(RoPB)实现。其源码： classRotaryEmbedding(torch.nn.Module): def__init__(self,dim,base=10000,precision=torc...

本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本： PRE_SEQ_LEN=128 LR=2e-2 CUDA_VISIBLE_DEVICES=0python3main.py\ --do_train\ --train_fileAdvertiseGen/train.json\ --validation_fileAdvertiseGen/dev.json\ --prompt_columncontent\ --re...

ChatGLM的部署，主要是两个步骤： 在Github上下载chatglm的库文件 在HuggingFace上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码而相关的实现细节，比如神经网络、激活函数、损失函数等具体的实现，并不在该项目源码中。不管以哪种方式部署，最核心就是三句代码，其作用是引入模型参数，初始化transformers配置；以web部署的方式为例： tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm-6b",trust_rem...

从Demo入手，了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。 创建Flink项目 在IDEA中创建Flink项目，由于没有Flink的archetype，因此需要手动创建一下。参考：idea快速创建flink项目，至此Flink的项目框架就搭建起来了。注意：必须注释掉pom文件中的 provided ；否则运行时会报错：Error:AJNIerrorhasoccurred,pleasecheckyourinstallationandtryagain 搭建Flink伪集群 在Flink包地址中，选择对应的版本，下载文件解压后，其文件内容，如下在bin目录下，运行start-c...

PartialUpdate 数据打宽 通过不同的流写不同的字段，打宽了数据的维度，填充了数据内容；如下所示： --FlinkSQL参数设置 set `table.dynamic-table-options.enabled`=`true`; SET `env.state.backend`=`rocksdb`; SET `execution.checkpointing.interval`=`60000`; SET `execution.checkpointing.tolerable-failed-checkpoints`=`3`; SET `execution.checkpointing....

翻译自ApachePaimon官方文档 概览 概述 ApachePaimon(incubating)是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。 简单来说，Paimon的上游是各个CDC，即changlog数据流；而其自身支持实时sink与search(下沉与查询)changlog数据流。一般会与Flink等流式计算引擎集成使用。 流式数据湖是一种先进的数据存储架构，专门为处理大规模实时数据流而设计。在流式数据湖中，数据以流的形式持续不断地进入系统，而不是批量存储后处理。 数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据...

当前的问题 ApachePaimon最典型的场景是解决了CDC(ChangeDataCapture)数据的入湖；CDC数据来自数据库。一般来说，分析需求是不会直接查询数据库的。 容易对业务造成影响，一般分析需求会查询全表，这可能导致数据库负载过高，影响业务 分析性能不太好，业务数据库一般不是列存，查询部分列Projection性能太差 没有Immutable的视图，离线数仓里面需要根据Immutable的一个分区来计算 所以需要通过CDC的方式同步数据库的数据到数据仓库或数据湖里。 CDC可以理解为是Changelog数据流。 目前典型的同步方式依然是Hive的全量与增量的离线合并同步...