特别鸣谢kimi，以下论文均在kimi辅助下阅读。 目录 RMIB:RepresentationMatchingInformationBottleneckforMatchingTextRepresentations AttentionRank:UnsupervisedkeyphraseExtractionusingSelfandCrossAttentions ANSWERINGCOMPLEXOPEN-DOMAINQUESTIONSWITHMULTI-HOPDENSERETRIEVAL APPROXIMATENEARESTNEIGHBORNEGATIVECONTRASTIVELEARNINGF...

大模型如火如荼的今天，不学点语言模型（LM）相关的技术实在是说不过去了。只不过由于过往项目用到LM较少，所以学习也主要停留在直面——动眼不动手的水平。Huggingface（HF）也是现在搞LM离不开的工具了。 出于项目需要，以及实践出真知的想法，在此记录一下第一次使用HF和微调ERNIE-gram的过程。 目录 开始的开始 模型选择 如何使用选好的模型 怎么微调 模型定义 训练流程 参考 开始的开始 HF已经做的很好了。但是对于第一次上手实操LM的我来说，还是有点陌生的。上手时有几个问题是一直困扰我的： HF上这么多模型，我该用哪一个？ 每个LM的主要作用是对文本进行E...

RAPTOR：递归摘要与树形检索的结合，提升RAG检索性能 来源：ICLR'24 https://arxiv.org/pdf/2401.18059.pdf 随着LLM技术的发展，RAG的价值也来越明显，可以视作LLM应用、落地的一个主要方向。RAG通过结合检索系统和生成模型，在生成回答时先从外部知识库种检索相关信息，辅助LLM进行更准确的生成。知识的粒度是多样的、零散的。如何从知识库中精准地检索到相关的知识片段是一个极具挑战性地问题。 概述 在目前构建RAG系统的流程中，基本都会涉及到对文档进行分块（有没有不需要进行分块的方法呢？）。现行的方式主要是通过滑动窗口进行分块，调一调分块的大小等...

EmpoweringLong-tailItemRecommendationthroughCrossDecouplingNetwork(CDN) 来源： KDD'2023 GoogleResearch 目录 EmpoweringLong-tailItemRecommendationthroughCrossDecouplingNetwork(CDN) 长尾问题分析 CDN ItemMemorizationandGeneralizationDecoupling 记忆特征（Memorizationfeatures） 泛化特征（Generalizationfeatures） 物品表征...