需求描述:前后端分离系统,用SpringBoot整合SparkAPI,调用大量数据(几百GB,上TB)进行处理计算,单机环境难以达到性能要求,此,需整合直接调用spark跑程序,且在集群跑…在此,一台测试服务器模拟,搭建伪分布spark集群,用standalone模式运行。 文章目录 一、集群环境 二、项目配置环境 一、集群环境 包版本: 1.java1.8 2.spark2.3.1 3.scala2.11 4.CentOSLinuxrelease7.3.1611(Core) 1、查看服务配置信息,包括内存、磁盘、CPU,spark任务会用到 [root@tycloud-x8...

关注 更多

空空如也 ~ ~

粉丝 更多

空空如也 ~ ~