内容介绍 hiveonspark的调优,那必然涉及到这一系列框架的内存模型。本章就是来讲一下这些框架的内存模型。hiveonspark的任务,从开始到结束。总共涉及了3个框架。分别是:yarn、hive、spark其中,hive只是一个客户端的角色。就不涉及任务运行时的内存。所以这里主要讲的yarn和spark的内存模型。其中,由于spark是运行在yarn的container中。所以我们从外到内。先将yarn的资源分配。后讲spark的内存模型。 hiveonspark提交流程 hive阶段 首先上场的是hive框架。当我们写了一个SQL语句的时候,会被hive进行解析(hive用的SQL解...

  Gyz2GVSspoIi   24天前   27   0   0 大数据
关注 更多

空空如也 ~ ~

粉丝 更多

空空如也 ~ ~