Hive远程连接 要配置Hive远程连接，首先确保HiveServer2已启动并监听指定的端口 hive/bin/hiveserver2 检查HiveServer2是否正在运行 lsof-i:10000 COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAME java660root565uIPv6899170t0TCP:ndmp(LISTEN) 1.默认方式远程连接Hive 如果Hive运行在与Hadoop集成的环境中，HiveServer2可以与Hadoop中的用户验证机制集成，并且会使用已经验证的Hadoop用户凭据来进行身份验证和授权。 在IDEA的...

Flink部署、执行模式 Flink的部署模式 Local本地模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。 1.Local本地模式： 在本地模式下，Flink以单机模式运行，无需启动分布式资源管理器。这种模式适用于本地开发和测试，用于验证Flink代码的正确性和性能。 2.Standalone模式： 在Standalone模式下，Flink作为一个独立的集群运行。需要启动Flink的JobManager和TaskManager，JobManager负责接收和调度任务，而TaskManager负责执行任务。 3.FlinkonYARN模式...

(大数据开发常用脚本整理集合) 大数据环境相关脚本 bash运行模式说明 bash的运行模式可分为loginshell(用户名、密码登录)和non-loginshell(SSH登录)。 两者登录方式加载情况： 1.loginshell启动时会加载：/etc/profile，/.bash_profile，/.bashrc 2.non-loginshell启动时会加载：/.bashrc 注意：/.bashrc实则会加载/etc/bashrc，/etc/bashrc又加载/etc/profile.d/.sh SSH登录注意： 当SSH到其他节点的时候是使用non-loginshell模式，默认...

Flink集群搭建 集群规划 节点 node01 node02 node03 角色 JobManager<br>TaskManager TaskManager TaskManager 下载并解压安装包 wgethttps://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz 在node01节点下载flink安装包，同时解压、重命名。 tar-zxvfflink-1.17.0-bin-scala_2.12.tgz mvflink-1.17.0flin...

配置 全局配置 ctrl+shift+p打开搜索setting.json，这个setting.json配置属于全局配置 配置全局的Java与Maven信息 { //java配置 "java.jdt.ls.java.home":"D:\\Development\\Java\\jdk8", //Java多版本配置"default":true：设置默认JDK用于不带构建工具的项目 "java.configuration.runtimes":[ { "name":"JavaSE-1.8", "path":"D:\\Development\\Java\\jdk8", "default":true...

创建项目 创建JavaWeb项目 ctrl+shift+p打开搜索Maven原型，并选择从maven原型创建新项目或者按如下方式：选择从Maven原型创建Web项目 从maven-archetype-webapp原型创建项目接着选择原型版本、输入包名、项目名、选择项目存放位置注意：到此需要按一下回车来继续输入Y或者回车确认 补全项目结构 通过Maven原型创建的的项目目录结构是不完整的手动补全，新工程目录如下修改pom.xml <properties> <project.build.sourceEncoding>UTF-8</project.build.sourc...

Tesseract 概述 Tesseract是一个开源文本识别(OCR)引擎，是目前公认最优秀、最精确的开源OCR系统，用于识别图片中的文字并将其转换为可编辑的文本。 Tesseract能够将印刷体文字图像转换成可编辑文本，它支持多种语言，并且在许多平台上都可使用，包括Windows、MacOS和Linux。Tesseract可以处理各种图像文件格式，如JPEG、PNG、TIFF等。 Tesseract的主要功能是识别图像中的文字，并将其转换成机器可读的文本内容。它采用了一系列图像处理、特征提取和机器学习技术来实现文字识别的过程。Tesseract算法的基础是使用训练好的模型来识别字...