背景 Mixup（混合） 定义 对于一个样本\((x_i,y_i)\)，将其与另一个样本\((x_j,y_j)\)混合： \[\begin{aligned}\tilde{x}_i&=\lambdax_i+(1-\lambda)x_j,\\\tilde{y}_i&=\lambday_i+(1-\lambda)y_j,\end{aligned}\tag{1}\] 其中\(\lambda\)采样于Beta(α,α)，α>0，j采样于Uniform([n])，n为数据集大小。 作用 Mixup是一种线性插值的数据增强，由于其简单性、泛化性和Robust，mixup已成为机...

1.加载数据集MNIST fromtorchvisionimportdatasets,transforms transform=transforms.Compose([ transforms.ToTensor(),valueofpixel:[0,255]->[0,1] transforms.Normalize(mean=(0.5,),std=(0.5,))valueoftensor:[0,1]->[-1,1] ]) mnist=datasets.MNIST(root='data',train=True,download=True,transform=transform) tra...

前言 关于Transformer原理与论文的介绍：详细了解Transformer：AttentionIsAllYouNeed 对于论文给出的模型架构，使用PyTorch分别实现各个部分。 命名transformer.py，引入的相关库函数： importcopy importtorch importmath fromtorchimportnn fromtorch.nn.functionalimportlog_softmax module:需要深拷贝的模块 n:拷贝的次数 return:深拷贝后的模块列表 defclones(module,n:int): returnnn.Modul...

前言 关于Transformer原理与论文的介绍：详细了解Transformer：AttentionIsAllYouNeed PyTorch中实现Transformer模型 前面介绍了，Transformer模型结构的实现，这里介绍下论文中提到的训练策略与设置。设置文件名为training.py Optimizer优化器 文中选择Adam优化器，\(\beta_1=0.9,\beta_2=0.98,\epsilon=10^{-9}\)。学习率的变化函数定义为： \[lrate=d_{\mathrm{model}}^{-0.5}\cdot\min(step\_num^{-0.5},ste...

前言 使用opencv对图像进行操作，要求：（1）定位银行票据的四条边，然后旋正。（2）根据版面分析，分割出小写金额区域。 图像校正 首先是对图像的校正 读取图片 对图片二值化 进行边缘检测 对边缘的进行霍夫曼变换 将变换结果从极坐标空间投影到笛卡尔坐标得到倾斜角 根据倾斜角对主体校正 importos importcv2 importmath importnumpyasnp fromscipyimportndimage filepath='./task1-misc/' filename='bank-bill.bmp' filename_correct='bank-bill-co...

论文“Bi-directionalDistributionAlignmentforTransductiveZero-ShotLearning”提出Bi-VAEGAN，它以f-VAEGAN-D2为Baseline，进一步发展了TF-VAEGAN通过利用所见数据和反馈模块增强生成的视觉特征思路。f-VAEGAN-D2的介绍、TF-VAEGAN的介绍 引言 取决于标签是否可用，可以分为无条件分布\(p(v)\)或条件分布\(p(v|y)\)。当以辅助信息为条件时，可以学习辅助数据的联合分布。这种分布可以连接视觉空间与辅助知识，并引入生成器作为知识迁移的工具。通过适当的监督如条件鉴别器判断生成的图...

前面介绍了将VAE+GAN解决零样本学习的方法：f-VAEGAN-D2，这里继续讨论引入生成模型处理零样本学习（Zero-shotLearning,ZSL）问题。论文“LatentEmbeddingFeedbackandDiscriminativeFeaturesforZero-ShotClassification”提出TF-VAEGAN，以f-VAEGAN-D2为Baseline进行改进。 引言 动机 一些工作利用辅助模块（如Decoder）在训练期间对语义嵌入重建实现循环一致（cycle-consistency）约束，帮助生成器合成语义一致的特征。但这些辅助模块仅在训练中使用，在调整合...

前言 本文使用Python实现了PCA算法，并使用ORL人脸数据集进行了测试并输出特征脸，简单实现了人脸识别的功能。 1.准备 ORL人脸数据集共包含40个不同人的400张图像，是在1992年4月至1994年4月期间由英国剑桥的Olivetti研究实验室创建。此数据集包含40个类，每个类含10张图片。所有的图像是以PGM格式存储，灰度图，图像大小为92x112像素。 对于每个类，我们选择前7张图片用于训练，后3张图片用于测试。我们将图像缩放至原来的0.5倍，以加快训练速度。最后选择100个特征向量进行降维。 importos importcv2 importnumpyasnp fromtypi...

原文连接：SemanticPromptforFew-ShotImageRecognition Abstract 在小样本学习中（Few-shotLearning,FSL）中，有通过利用额外的语义信息，如类名的文本Embedding，通过将语义原型与视觉原型相结合来解决样本稀少的问题。但这种方法可能会遇到稀有样本中学到噪声特征导致收益有限。在这篇论文，作者提出了一种用于少样本学习的语义提示（SemanticPrompt,SP）方法，不同于简单地利用语义信息纠正分类器，而是选择用语义信息作为提示（prompt）去自适应调整视觉特征提取网络。 具体来说，作者设计了两种互补机制，将语义提示插入特征提取...

同步和异步 同步和异步是指程序的执行方式。在同步执行中，程序会按顺序一个接一个地执行任务，直到当前任务完成。而在异步执行中，程序会在等待当前任务完成的同时，执行其他任务。 同步执行意味着程序会阻塞，等待任务完成，而异步执行则意味着程序不会阻塞，可以同时执行多个任务。 同步和异步的选择取决于你的程序需求。如果你的程序需要等待某些任务完成后才能继续，那么同步的方式可能是更好的选择。如果你的程序可以在等待任务完成的同时继续执行其他任务，那么异步的方式可能是更好的选择。 asyncio asyncio是Python的异步编程库，用于编写并发程序。它提供了一组基于协程的工具，可以帮助你实现异步网络通信、...

前言 对中文标题使用余弦相似度算法和编辑距离相似度分析进行相似度分析。 准备数据集part1 本次使用的数据集来源于前几年的硕士学位论文，可根据实际需要更换。结构如下所示： 学位论文题名 基于卷积神经网络的人脸识别研究 P2P流媒体视频点播系统设计和研究 校园网安全体系的设计与实现 无线传感器网络中基于多中继切换的CARQ方案性能分析 RFID和VLPR技术在酒钢智能门禁系统中的应用 ... 基于MapReduce的Web链接结构分析算法研究 环形交叉口混合交通流元胞自动机模型研究 细菌觅食算法的优化及其在车间调度中的应用研究 基于多载体图像的通用隐写分析方法研究 基于加权网络的传染病免疫...

数据来源：HousePricesAdvancedRegressionTechniques参考文献： ComprehensivedataexplorationwithPython 1.导入数据 importpandasaspd importwarnings warnings.filterwarnings('ignore')忽略警告 df_train=pd.read_csv('./house-prices-advanced-regression-techniques/train.csv') df_train.columns Index(['Id','MSSubClass','MSZoni...

Semi-SupervisedDomainAdaptationwithSourceLabelAdaptation 具有源标签适应的半监督域适应 原文链接 Abstract 文章指出当前的半监督域适应（Semi-SupervisedDomainAdaptation,SSDA）方法通常是通过特征空间映射和伪标签分配将目标数据与标记的源数据对齐，然而，这种面向源数据的模型有时会将目标数据与错误类别的源数据对齐，导致分类性能降低。 本文提出了一种用于SSDA的新型源自适应范式，该范式通过调整源数据以匹配目标数据，从而提高分类性能。 文中所提出的模型可以有效清除源标签内的噪声，并在基准数据集上表现优...

1.线性模型 有监督学习是通过已知的样本产生预测模型的学习方法，任何有监督学习模型都可被想象成一个函数： \[y=f(x_1,x_2,x_3,...x_n)\tag{1-1}\] 其中，\(x_1,x_2,x_3...x_n\)是模型的n维的特征值，\(y\)是要预测的目标值/分类，当\(y\)是可枚举的类型时，对应分类问题（classification）；\(y\)为连续值时，该模型解决回归问题（regression）。 线性回归（LinearRegression）在机器学习中被用来解决学习特征和目标值都是连续值类型的问题，可定义为多项式函数： \[y=w_0+w_1x_1+...

1.梯度下降 梯度下降（GradientDescent）是计算机计算能力有限的条件下启用的逐步逼近、迭代求解方法，在理论上不保证下降求得最优解。e.g.假设有三维曲面表达函数空间，长(x)、宽(y)轴为子变量，高(z)是因变量，若使用梯度下降法求解因变量最低点的步骤如下： 任取一点作为起始点。 查看当前点向哪个方向移动得到最小的z值，并向该方向移动。 重复上述步骤，直到无法找到更小的z值，此时认为达到最低点。 受起始点和目标函数的约束，有时该法无法找到全局最优点，但有着比OLS更快的求解速度，因此被广泛应用。 根据原理介绍几个梯度下降求解算法概念： 步长（learningrate）：每一...

1.支持向量机 支持向量机（SupportVectorMachine,SVM）最初被用来解决线性问题，加入核函数后能够解决非线性问题。主要优点是能适应小样本数量高维度特征的数据集，甚至是特征维度数高于训练样本数的情况。先介绍几个概念： 最优超平面：Hyperplane，SVM通过学习数据空间中的超平面达到二值分类。在预测中，在超平面一侧被认为是一个类型的数据，另一侧被认为是另一种类型数据。 超平面在一维空间中是一个点；在二维中是一条线；三维中是一个平面。在更高维度只能描述为“超平面”。普通线性可分问题中，符合分类要求的超平面会有无穷多个。 软间隔：SoftMargin，是为了解决因噪...

原文链接：AttentionIsAllYouNeed 1.背景 在机器翻译任务下，RNN、LSTM、GRU等序列模型在NLP中取得了巨大的成功，但是这些模型的训练是通常沿着输入和输出序列的符号位置进行计算的顺序计算，无法并行。 文中提出了名为Transformer的模型架构，完全依赖注意力机制（AttentionMechanisms），构建输入与输出间的依赖关系，并且能够并行计算，使得模型训练速度大大提高，能够在较短的训练时间内达到新的SOTA水平。 2.模型架构 2.1编码器（Encoder）与解码器（Decoder） 先放下具体的细节，从上图Transformer的模型架构中可以...