深度学习
模型蒸馏 标签描述

不知道大家有没有遇到过数据标注成本高、周期长的困扰,有没有那么一种可能,精心标注少量的数据,配合大量的无标注数据,就能达到比肩全量标注的模型精度呢?是的,PaddleX就带来了这样一款提效神器——大模型半监督学习工具。 大模型半监督学习工具利用视觉大模型的强大特征表征能力和PaddleX的特色半监督学习方法,其可以在少量有标注数据和大量无标注数据的混合数据上学习到更好的特征,从而得到超高精度的大模型,不仅如此,该工具内置了蒸馏和微调小模型的方法,进一步可以得到精度更高的小模型。为了验证该工具的有效性,我们测试了其在公开数据集的指标。最终,该工具刷新了图像分类(ImageNet10%有标注)、目...