本文来自网易杭研大数据技术专家、ApacheKyuubiPMCMember、ApacheSparkCommitter尤夕多，内容主要围绕ApacheSpark与NativeEngine展开，分享什么是NativeEngine，为什么要做NativeEngine，以及怎么做NativeEngine。 前言 ApacheSpark是基于JVM语言开发的分布式计算引擎，其SQL单个算子的执行性能已经很长时间没有得到提升，比如Aggregation，Join等。我们从Spark2迁移升级到Spark3的主要性能收益来源是AQE，而AQE其实是一个优化执行计划以及Shuffle数据读取的框架，和算子...