flume学习（六）：使用hive来分析flume收集的日志数据 前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。 如果想用hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。 如果了解hive的loaddata原理的话，还有一种更简便的方式，可以省去loaddata这一步，就是直接将sink1.hdfs.path指定为hive表的目录。 下面我将详细描述具体的操作步骤。 我们还是从需求驱动来讲解，前面我们采集的数据，都是接口的访问日志数据，数据格式是JSON格式如下...

SolrCloud使用教程、原理介绍 SolrCloud是基于Solr和Zookeeper的分布式搜索方案，是正在开发中的Solr4.0的核心组件之一，它的主要思想是使用Zookeeper作为集群的配置信息中心。 它有几个特色功能：①集中式的配置信息②自动容错③近实时搜索④查询时自动负载均衡。 下面看看wiki的文档： 1、SolrCloudSolrCloud是指Solr中一套新的潜在的分发能力。这种能力能够通过参数让你建立起一个高可用、容错的Solr服务集群。当你需要大规模，容错，分布式索引和检索能力时使用SolrCloud(solr云)。 看看下面“启动”部分内容，快速的学会怎样启动一...

solr增量数据配置说明 学习，存储，共享 以下资料整理自网络，觉的有必要合并在一起，这样方便查看。主要分为两部分，第一部分是对《db-data-config.xml》的配置内容的讲解（属于高级内容），第二部分是DataImportHandler（属于基础）,第三部分是对db-data-config.xml的进阶（这个国内可能还没有人写过啊，我在google、baidu上都没有搜索到，最后可是拔代码，看solr的英文文档找的） 第一部分是对《db-data-config.xml》 query是获取全部数据的SQLdeltaImportQuery是获取增量数据时使用的SQLdeltaQu...

Python数据分析入门 存储，学习，共享 最近，AnalysiswithProgramming加入了PlanetPython。作为该网站的首批特约博客，我这里来分享一下如何通过Python来开始数据分析。具体内容如下： 数据导入 导入本地的或者web端的CSV文件； 数据变换； 数据统计描述； 假设检验 单样本t检验； 可视化； 创建自定义函数。 数据导入 这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下： Python importpandasaspd ...