提示如下,提示可用内存为0
Admission result : Queued
Latest admission queue reason : Not enough aggregate memory available 8245f198ee96ec8:74134 max mem resources 150.00 GB. Needed 38.43 GB but only 0 was available.
排查的方向
1.进入impala查看执行的sql出现到哪一台服务器上
2.进入服务器,查看内存还有多少可用的
free -h
3.清理服务器中的cache
sync
echo 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches
4.清理完成后,重新通知开发人员执行sql,问题解决
总结:
出现以上问题的主要原因是因为服务器所有的服务以及进程占用服务器的cache一直不释放,导致impala在执行的sql的过程中显示为0,impala是基于内存计算的mpp组件,执行的大行计算的sql非常消耗内存,把cache清理掉之后,就解决了问题。