Important: ForinstructionsforconfiguringHighAvailability(HA)fortheNameNode,seethe CDH5HighAvailabilityGuide. ProceedasfollowstodeployHDFSonacluster.Dothisforallclusters,whetheryouaredeployingMRv1orYARN: CopytheHadoopconfiguration Customizeconfigurationfiles ConfigureLocalStor...

InstallingandConfiguringaMySQLDatabase YoucanuseMySQLdatabasestostoreinformationforClouderaManager.ClouderaManagermonitoringservicesrequiredatabasestostoreinformation,soyouwillneedtocreatedatabasesforeachofthoseentities. YoushouldalsocreateadatabasefortheHiveMetastoreServer. SeeyourMySQLdocumenta...

安装MySQLsudoapt-getinstallmysql-server 安装Apachesudoapt-getinstallapache2 安装PHP5sudoapt-getinstallphp5 其它模块//配置APACHE+PHPsudoapt-getinstalllibapache2-mod-php5//让apache支持mysqlsudoapt-getinstalllibapache2-mod-auth-mysql//mysql连接sudoapt-getinstallphp5-mysql//GD库sudoapt-getinstallphp5-gd   phpMyAdmi...

DistributedRPC TheideabehinddistributedRPC(DRPC)istoparallelizethecomputationofreallyintensefunctionsontheflyusingStorm.TheStormtopologytakesinasinputastreamoffunctionarguments,anditemitsanoutputstreamoftheresultsforeachofthosefunctioncalls. DRPCisnotsomuchafeatureofStormasitisapatternexpressedfr...

This tutorial withquicklyteachyouhowtouse HBase, acolumn-orientedtoolthatsitsontopof Hadoop,itworksbestwhenyouhavelargetablesandareaccessingyourBigDatarandomlyandinreal-time.ThoughitdoesnotsupportSQL,HBasecaneasilybeconnectedtoHive,providingyouwiththeread/writespeedofHBase,...

定义 期权池(Optionpool)是在融资前为未来引进高级人才而预留的一部分股份，如果不预留，会导致将来进来的高级人才如果要求股份，则会稀释原来创业团队的股份，这会造成一些问题。如果融资前估值是600万，而风险投资(vc)400万，那么创业团队就有60%的股权，VC有40%。 按照上面这个例子里的数据，如果VC要求Optionpool是20%的股份，而VC拥有投资后的公司的40%，那么创业团队就只能拥有40%。也就是说，现在的创业团队把自己的20%预留给了未来的要引进的人才。 编辑本段概述 期权池是在融资前为未来引进高级人才而预留的一部分股份，用于激励员工(包括创始人自己、...

Mahout是Apache旗下的一个机器学习和数据挖掘的分布式框架，包括聚类，分类，协同过滤，关联规则挖掘等 经典的算法。   1.安装Maven   wgethttp://apache.etoak.com//maven/maven-3/3.0.4/binaries/apache-maven-3.0.4-bin.tar.gz下载 最新版本的Maven.tarxvfapache-maven-3.0.2-bin.tar.gz解压后配置路径，vi/.bashrc在此文件添加如下两行 exportM3_HOME=maven的实际安装路径 exportP...

PayPal是一项全球流行的网上支付服务，近期它发布了一款 Node.js Web开发框架：Kraken。 Kraken基于 grunt 和 Express，相比而言，它提供了更加稳健的功能合集，支持本地化、环境配置、更加注重应用程序安全等。这里解释下，Express是Node.js的一个MVC开发框架，支持jade等多种模板，是目前Node.js上最流行的Web开发框架，通过提供一系列强大特性帮助开发者创建各种Web应用。 Kraken项目   为什么会有Kraken？ 之前，PayPal公司长期存在着“非我所创”的文化，这导...

elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好，好在国内有medcl大神（国内最早研究es的人之一）写的两个中文分词插件，一个是ik的，一个是mmseg的，下面分别介绍下两者的用法，其实都差不多的，先安装插件，命令行： 安装ik插件： plugin-installmedcl/elasticsearch-analysis-ik/1.1.0 下载ik相关配置词典文件到config目录 cdconfig wgethttp://github.com/downloads/medcl/elasticsearch-analysis-ik/ik.zip--no-check...

一个比Disruptor吞吐量等性能指标更好的框架，使用Railway算法，将线程之间的消费发送参考现实生活中火车在站点之间搬运货物。目标起始于一个简单的想法：创建一个开发人员友好的，简单的，轻量级线程间的通信框架，无需使用任何锁，同步器，信号量，等待，通知以及没有队列，消息，事件或任何其它并发特定的语法或工具。只是一个Java接口接受到POJO以后在其背后实现这个通信，这个主意很类似Akka的Actors，但是它也许是有点矫枉过正，特别是对于单个多核计算机上线程间的通信优化必须是轻量的。Akka的伟大之处是跨进程通信，特别是Actor是能够跨越不同JVM节点实现分布式通信。无论如何，你可能...

简单的实现一个PING的功能 1.安装thrift http://thrift.apache.org/download/ 人人网镜像下载: http://labs.renren.com/apache-mirror/thrift/0.6.1/thrift-0.6.1.exe 2.编写Thrift文件（定义接口，结构，异常等）,保存为test.thrift namespacejavanet.johnc.thrift serviceTest{ voidping(1:i32length) } 3.生成接口代码 把thrift-0.6.1.exe和test.thrift文件放在同一...

02 <groupId>org.apache.maven.plugins</groupId> 03 <artifactId>maven-jar-plugin</artifactId> 04 <version>2.4</version> 05 <configuration> 06 <archive> 07 <addMavenDescriptor>false</addMavenDescriptor> 08 <manifest> 09 <mainClass&g...

分布式搜索方案选型之一：Solr      我第一个了解到的分布式搜索框架是solr,它是由java开发的，基于lucene的分布式搜索引擎，提供了类似于webserver的编程接口，是一个比较成熟的搜索引擎，目前很多公司都在使用。很快我就部署了一个由4台机器组成的solr集群，开始导公司的数据进去测试，导的数据为200万。导入速度非常快。接下来就开始测试查询效率，发现它是有缓存的，第一次查询的时间基本上在80～150毫秒之间，第二次查由于有缓存，查询时间基本上只需要1835毫秒，可以说非常之快。它如何做到分布式？因为现在做的是集群...

本文首先介绍了SlopeOne算法的原理，然后给出了算法的Java版实现。 一.SlopeOne算法的原理介绍 用户         对事物A打分对事物B打分X34Y24Z4?     用户Z对事物B的打分可能是多少呢？股票上有个说法是平均值可以掩盖一切异常波动，所以股票上的各个技术指标收拾不同时间段的平均值的曲线图或者柱状图等。同样的，SlopeOne算法也认为：平均值也可以代替某两个未知个体之间的打分差异，事物A对事物B的平均很差是：((34)+(24))...

前言 使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。 有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。 本文为“Hadoop家族”开篇，Hadoop家族学习路线图 目录 Hadoop家族产品 Hadoop家族学习路线图 1.Hadoop家族产品 截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！ht...

一般在新的系统上，我们都需要先配置下自己的Git工作环境。配置工作只需一次，以后升级时还会沿用现在的配置。当然，如果需要，你随时可以用相同的命令修改已有的配置。 Git提供了一个叫做gitconfig的工具（译注：实际是git-config命令，只不过可以通过git加一个名字来呼叫此命令。），专门用来配置或读取相应的工作环境变量。而正是由这些环境变量，决定了Git在各个环节的具体工作方式和行为。这些变量可以存放在以下三个不同的地方： /etc/gitconfig文件：系统中对所有用户都普遍适用的配置。若使用gitconfig时用--system选项，读写的就是这个文件。 /.gitconf...

笔者经过研究查阅solr官方相关资料经过两周的研究实现了毫秒级百万数据的搜索引擎的搭建并引入到企业门户。现将实施心得和步骤分享一下。 1.jdk1.6 安装jdk1.6到系统默认目录下X:\qc\Java目录下（注意要点：配置好环境变量）。 2.tomcat安装 a)安装tomcat到X:\qc\tomcat6目录下。 b)配置server.xml Connectorport="80"protocol="HTTP/1.1"connectionTimeout="20000"redirectPort="8443"URIEncoding="UTF-8" 3.下载并部署solr1.4.1 a)...

摘要 本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。 文章主要内容分为三个部分。 第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础。 第二部分结合MySQL数据库中MyISAM和InnoDB数据存储引擎中索引的架构实现讨论聚集索引、非聚集索引及覆盖索引等话题。 第三...

前几天搭建了apche+tomcat集群，被大牛拍砖，今天查了点资料，搭建了Nginx+Memcached+Tomcat集群，与大家分享下： 一：环境 Tomcat7，下载链接：http://tomcat.apache.org/Nginx是nginx-1.2.8， 下载链接：http://nginx.org/en/download.html Memcached是memcached-1.2.6-win32-bin，下载链接：http://code.jellycan.com/files/memcached-1.2.6-win32-bin.zip， 其他所需jar包，如下列表： memcached...

zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的<TheChubbylockserviceforloosely-coupleddistributedsystems>论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。   zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/zookeeperStarted...