引言 上一篇主要讲解的是：京东商场之爬取数据(京东商场搜索请求、HTML解析器之jsoup、编写html解析工具类、解析页面所有的商品信息、图片的延迟加载、创建pojo类、提取解析工具类为方法、测试解析工具类封装的方法、页面元素获取扩展讲解) 本篇主要讲解的是：京东商场之业务编写(编写配置类、创建索引、编写service层实现批量插入、编写controller层实现批量插入、启动程序、访问测试、验证es中的数据、编写service层实现分页搜索功能、编写controller层实现页面搜索功能) 编写配置类 配置类用于与ES进行连接 创建索引 前面我们使用命令、代码都创建过索引，此处我使用...

引言 上一篇主要讲解的是：京东商场之业务编写(编写配置类、创建索引、编写service层实现批量插入、编写controller层实现批量插入、启动程序、访问测试、验证es中的数据、编写service层实现分页搜索功能、编写controller层实现页面搜索功能) 本篇主要讲解的是：京东商场之前后端交互(修改index.html文件、编译项目、重新启动程序、index.html继续完善js代码、index.html遍历商品详细信息、访问测试) 修改index.html文件 删除第8行记录 在第11行给div加上id属性 在33行和37行增加，绑定单击事件 在121行增加js代码 重新编...

引言 上一篇主要讲解的是：京东商场之前后端交互(修改index.html文件、编译项目、重新启动程序、index.html继续完善js代码、index.html遍历商品详细信息、访问测试) 本篇主要讲解的是：京东商场之关键字高亮(编写service层代码、修改controller层代码、修改index.html文件、重新启动程序、访问测试) 编写service层代码 修改controller层代码 修改index.html文件 指定title列以html格式展示 重新启动程序 先关闭程序 重启程序 在控制台上输出如下图，证明启动完成 访问测试 在浏览器中输入 &nbs...

引言 上一篇文章中，我们介绍了：文本文件输入各种设置，实战演示了如何操作它。只要兄弟们跟着我的文章操作，兄弟们对文本文件输入这个组件应该可以正常使用了。本篇文章我们就讲一个知识点：DB连接。 前面我们说过kettle是使用java语言编写的，kettle对DB的连接，其底层使用的就是JDBC技术实现的。所以，又要给兄弟们扩展的聊一聊JDBC了。 JDBC的那些事 简介 JDBC(JavaDataBaseConnectivity)称为Java数据库连接，它是一种用于数据库访问的应用程序API，由一组用Java语言编写的类和接口组成的标准，有了JDBC就可以用同一的语法对多种关系数据库进行访问，而...

引言 上一篇文章中，我们介绍了：JDBC相关内容(简介、架构图、代码实战)、kettle中的DB连接(连接mysql)。 在本篇文章中，我们接着介绍：HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。 别看本篇就2个知识点，兄弟们坑也不少呢，让我们一起来踩坑吧！ Hive端配置 要想使用jdbc连接你的Hive，你要连接的主机上必须开启了HiveServer2服务。 查询HiveServer2服务所在主机 1、CDH平台 点击Hive组件 选择 配置标签 查看主机名 2、其它平台 HiveServer2服务开启后，默认会启动端口10...

引言 上一篇文章中，我们介绍了：HiveServer2服务相关内容、kettle中的DB连接(连接hive、连接impala)。 在本篇文章中，我们接着介绍：kettle中的DB连接(连接sqlserver)。 别看本篇就1个知识点，兄弟们坑也不少呢，让我们一起来踩坑吧！ kettle创建sqlserver类型DB连接 kettle连接sqlserver数据库有2种方式：MSSQLSERVER和MSSQLSERVER(NATIVE)，下面我们分别来操作一下！ 1、MSSQLSERVER类型 加载sqlserver驱动 kettle存放驱动包的位置：pdi-ce-8.3.0.0-371\data...

引言 在上一篇文章中，我们主要讲解的是：kafka的相关的那些事、命令行操作kafka、API操作kafka、kettle中的kafka的相关组件设置及实战演示。 在前面我们用了大量的文章，讲解kettle的基础组件，日常的应用也就够了。后续我通过实战案例还会扩展讲一些组件，比如：java组件、javascript组件等等，还有好多组件没有讲解！！！ 在本篇文章中，介绍的是：我工作中遇到的一个实际案例，数据源是一份Excel文件，在使用kettle抽取excel到sqlserver数据库后，发现数据的精度有问题。下面我们进入今天的主题，展开来说一说吧。 原始数据文件 a、打开文件 b、调整...

引言 在上一篇文章中，我们主要讲解的是：我工作中遇到的一个实际案例，数据源是一份Excel文件，在使用kettle抽取excel到sqlserver数据库后，发现数据的精度有问题、还伴随导入了大量的NULL记录行。 在本篇文章中，介绍的是：依然我工作中遇到的一个实际案例，数据源是一份csv文件，在使用kettle抽取csv到sqlserver数据库后，发现原始的数据的长度和目标表定义的列长度有问题。下面我们进入主题，展开来说一说吧。 原始数据文件 问题产生在 Part1列，由于页面宽度有限，我只能截图这么多，像第20行中，Part1列后面还有很长的数据。 SqlServer中目标表...

引言 在上一篇文章中，我们主要讲解的是：我工作中遇到的一个实际案例，数据源是一份csv文件，在使用kettle抽取csv到sqlserver数据库后，发现原始的数据的长度和目标表定义的列长度有问题、还伴随导入了大量的NULL记录行。 在本篇文章中，介绍的是：依然我工作中遇到的一个实际案例，我们要周期性的从上游数据库中抽取数据到本地库，每次抽取的是最近180天的数据。如果上游最近180天的数据量有增加变多了，先把本地表中最近180天的数据删除，然后把上游最近180天的数据抽取到本地库表中。最后把本地库表中所有记录，进行去重复操作。如果上游最近180天的数据量没有化或变少了，本地表不做任何操作。 ...

引言 在上一篇文章中，我们主要讲解的是：我工作中遇到的一个实际案例，我们要周期性的从上游数据库中抽取数据到本地库，每次抽取的是最近180天的数据。如果上游最近180天的数据量有增加变多了，先把本地表中最近180天的数据删除，然后把上游最近180天的数据抽取到本地库表中。最后把本地库表中所有记录，进行去重复操作。如果上游最近180天的数据量没有化或变少了，本地表不做任何操作。 在本篇文章中，介绍的是：依然我工作中遇到的一个实际案例，我们要周期性的从上游mysql数据库中抽取数据到本地hive库中，每次抽取的是最近6个月的数据。hive中的目标表是按月做的分区，把最近6个月的数据分6次循环插入覆盖...