本文分享自华为云社区《从HumanEval到CoderEval:你的代码生成模型真的work吗？》，作者：华为云PaaS服务小智。 本文主要介绍了一个名为CoderEval的代码生成大模型评估基准，并对三个代码生成模型（CodeGen、PanGu-Coder和ChatGPT）在该基准上的表现进行了评估和比较。研究人员从真实的开源项目中的选取了代码生成任务来构建CoderEval，并根据对外部依赖的程度为标准将这些任务分为6个等级、根据生成的目标分为3类生成任务，以更多维地评估不同大模型在不同上下文场景中的生成效果。 实验结果表明，这三个模型在生成自包含函数方面的效果明显优于其他任务，但实际项目...