1、背景 在业务量达到一定量的时候，往往单机的服务是会出现瓶颈的。此时最常见的方式就是通过负载均衡来进行横向扩展，实现负载均衡，当有服务出现异常，也能够自动剔除。但是负载均衡服务自身也可能出现故障，因此需要引入其他的软件来实现负载均衡服务的高可用。业界通常用LVS+Keepalived的方式，来实现高可用Web集群，实际不止Web,其他服务都可以比如mysql等等。 LVS(LinuxVirtualServer)是一个负载均衡框架，而Keepalived是一个高可用性解决方案。这两个工具结合使用，可以实现高性能、高可用的负载均衡集群。 2、环境信息 准备环境，由于环境限制，我这里把keep...

问题现象： 写入时单条或一批次的总数据大小超过es限制就会报TransportError(413,'') 解决： 修改es配置文件elasticsearch.yml增加max_content_length，具体大小看实际环境需求，越大性能越差 http.max_content_length:1024mb File"/opt/python3.8/site-packages/elasticsearch/helpers/actions.py",line300,inbulk forok,iteminstreaming_bulk(client,actions,args,kwargs): File"/o...

1、登录CDH后选择YARN 2、更改CPU 在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟CPU内核】或者直接搜索yarn.nodemanager.resource.cpu-vcores 这里改的是单个服务器可以用的CPU的核心数，假设有3台服务器，每台这里设置32那总的yarn集群可用的cpu数就是323=96C，这个效果 3、更改内存 在yarn配置页面，搜索在类别->资源管理中找到【容器内存】或者直接搜索yarn.nodemanager.resource.memory-mb 这里就是单台机器的可分配内存大小，单台机器50吉字节（GB），那总集群就是150G...