GPT-3究竟是如何进化到GPT-4的？ 字节给OpenAI所有大模型来了个“开盒”操作。 结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。 比如： SFT是早期GPT进化的推动者 帮助GPT提升编码能力的最大功臣是SFT和RLHF 在预训练中加入代码数据则提升了后续GPT版本的各方面能力，尤其是推理…… 创业后忙得不可开交的AI大牛李沐看完，也久违地出现在公众视野，并给这项研究点了个赞。 网友们更是盛赞： 这是迄今为止第一个充分开盒OpenAI所有模型的工作，respect。 而除了一些新发现，它还坐实了一些已有猜想： 比如GPT-4在变笨并非危言耸听，这项评测...