bin转onnx,BERT 设置batch sizh不一样，结果不一样；-摩杜云开发者社区

bin转onnx,BERT 设置batch sizh不一样，结果不一样；

CKzxWsONWzRf 2023年11月02日 139 0

BERT onnx bin BERT batch_size onnx batch_size bin

原因：输入与训练时输入的数据不一致

可能情况：

[1]mask的数据与预期不一致，可以打印出来看看数据是否与预期的一致；

[2]检查模型mask是否为必须输入参数，我设置了默认值为None,传mask后，与单条预测结果一直不一样，但是大于1的batch_size结果一样；

总结：

[1]确保输入onnx的数据与bin格式预测的输入数据格式，数据一致；

[2]确保mask值为必须传入参数，这一点容易被忽视；

上一篇： GPU创建聊天GPT 下一篇： Hadoop环境搭建

最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读

BERT模型batch_size对预测结果的影响

CKzxWsONWzRf 2023年11月02日 82 0 0 BERT inference BERT inference batch_size batch_size

从决策树到GPT：探索机器学习的历史演变

DIPdWwN62aTc 2023年12月23日 58 0 0 机器学习语言模型 GPT BERT BERT 机器学习语言模型 GPT

BERT模型在训练时会出现预测结果只有一个标签

CKzxWsONWzRf 2023年11月02日 44 0 0 BERT BERT

大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍

MBD88DuKutYQ 2023年11月02日 56 0 0 循环神经网络 NLP 语言模型人工智能 bert 语言模型 BERT NLP 人工智能循环神经网络

三步实现BERT模型迁移部署到昇腾

YqbaJkf98QJO 2023年11月02日 101 0 0 bert 模型部署 mindspore 模型部署昇腾 BERT mindspore 昇腾

GraphCodeBert: Pre-Trainng Code Representions with Data Flow

LoXWivbP6ycg 2023年11月05日 49 0 0 图神经网络代码生成 BERT bert 代码生成图神经网络

bin转onnx,BERT 设置batch sizh不一样，结果不一样；

CKzxWsONWzRf 2023年11月02日 140 0 0 BERT onnx bin BERT batch_size onnx batch_size bin

huggingface optimum安装教程及其使用

Wv2PRSlQRjkP 2023年11月02日 56 0 0 huggingface transformers ONNX transformers huggingface Optimum Optimum onnx

CKzxWsONWzRf

2023-11-19

onnxruntime 编译踩坑记录

2023-11-19

attach vs code无反应

2023-11-14

huggingface下载慢

2023-11-12

读《养育男孩》

2023-11-12

pb转onnx

2023-11-02

cannot import name 'keras_tensor' from 'tensorflow.python.keras.engine'

2023-11-02

BERT批量预测与单一样本预测结果不一致

2023-11-02

BERT模型batch_size对预测结果的影响

2023-11-02

bin转onnx,BERT 设置batch sizh不一样，结果不一样；

2023-11-02