本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的ApachePig中文教程（由Google搜索可知），文中的大量实例都是作者DarranZhang（website:codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。 Apachepig是用来处理大规模数据的高级查询语言，配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果，比使用Java，C等语言编写大规模数据处理程序的难度要小N倍，实现同样的效果的代码量也小N倍。Twit...

JavaNIO（NewIO）是从Java1.4版本开始引入的一个新的IOAPI，可以替代标准的JavaIOAPI。本系列教程将有助于你学习和理解JavaNIO。（关注ITeye官微，随时随地查看最新开发资讯、技术文章。） JavaNIO提供了与标准IO不同的IO工作方式：  ChannelsandBuffers（通道和缓冲区）：标准的IO基于字节流和字符流进行操作的，而NIO是基于通道（Channel）和缓冲区（Buffer）进行操作，数据总是从通道读取到缓冲区中，或者从缓冲区写入到通道中。 AsynchronousIO（异步IO）：JavaNIO可以让你异步的使用IO...

TreeMap的实现就是红黑树数据结构，也就说是一棵自平衡的排序二叉树，这样就可以保证当需要快速检索指定节点。 TreeSet和TreeMap的关系 为了让大家了解TreeMap和TreeSet之间的关系，下面先看TreeSet类的部分源代码： publicclassTreeSet<E>extendsAbstractSet<E> implementsNavigableSet<E>,Cloneable,java.io.Serializable { //使用NavigableMap的key来保存Set集合的元素 privatetransientNavigab...

作者：磨延城 这一篇文章主要记录我在使用ApacheBenchmark（一下检测ab）做网站压力测试的过程中,遇到的一些问题以及解决办法,方便日后使用. 这一篇文章主要记录我在使用ApacheBenchmark（一下检测ab）做网站压力测试的过程中，遇到的一些问题以及解决办法，方便日后使用。 当使用ab做压力测试，执行类似的命令： ab-c10-n10000www.xxx.com/ 提示apr_poll:Thetimeoutspecifiedhasexpired(70007)或者apr_socket_recv:Connectiontimedout(110)。 “ab-c10-n10...

mysql主从一致性修复 目录 之前一篇：主从更换ip之后重新建立同步情况时这样的昨天晚上主动2个机器都迁移了，然后今天才把主动重新连接上，但是从库的偏移量是从今天当前时刻开始的，也就是说虽然现在主动看似正常，其实是少了昨天的部分数据，由于从库的数据丢失了，早晚还是要填坑的。 问题 要解决问题就是怎么对比不一致，然后在不影响业务的情况下，修复数据不一致的问题，把从库缺少的数据补上 下面是能想到和找到的几个方案1从新从0开始同步，虽然对主库的使用没有影响，但是那么大的数据量，对性能，网络影响有点大，数据丢失的应该很少2主库dump数据，锁库，然后同步，不好。影响业务使用3perco...

今天看到一篇文章，收藏了很多大牛的博客，在这里分享一下 Android中文Wiki AndroidStudio-NDK开发-移动开发团队 gundumw100博客android进阶分类文章列表ITeye技术网站 android调用平台功能fonterJavaEye技术网站 Android UI布局_兔斯基第2排第6个_新浪博客 Android线程学习一Envisage123ITeye技术网站 Sundy微群—Android深入浅出微群_新浪微群-大微博里的小圈子 Sundy'shome.张凌华 Android开发中实现多点触摸的方法Android开发资料共享eoe·A...

问题描述当我们一个系统既需要mysql驱动，也需要oracle驱动的时候，在并发加载初始化这些驱动类的过程中产生死锁的可能性非常大，下面是一个模拟的例子，对于Thread2的实现其实是jdk里java.sql.DriverService的逻辑，也是我们第一次调用java.sql.DriverManager.registerDriver注册一个驱动实例要走的逻辑(jdk1.6下)，不过这篇文章是使用我们生产环境的一个系统的线程dump和内存dump为基础进行分析展开的。 01 importjava.util.Iterator; 02 03 importsun.misc.Servic...

Solr是一种可供企业使用的、基于Lucene的搜索服务器，它支持层面搜索、命中醒目显示和多种输出格式。在这篇文章中，将介绍Solr并展示如何轻松地将其表现优异的全文本搜索功能加入到Web应用程序中。 开发环境： System：Windows WebBrowser：IE6+、Firefox3+ JDK：1.6+ JavaEEServer：tomcat5.0.2.8、tomcat6 IDE：eclipse、MyEclipse8   开发依赖库： JavaEE5、solr3.4     一、配置和安装solr 1、首先去apache官方网站下载solr，下载地址 ...

1、去掉Oracle生成的SQL创建语句中的双引号 用powerdesigner导出orale数据库的建表sql时，默认会给表名和字段名加上双引号，如下图： 这样给操作数据库带来很大的不便，解决的办法是设置Database菜单， 然后点击EditCurrentDBMS菜单，再依次点开Script->Format，然后找到CaseSensitivityUsingQuote将其设为NO，即可。如下图： 如果带有包的话，导出时要选择包中的表。2、PowerDesign高级应用编写相关的VBS脚本在PowerDesign里自定义一些命令与操作等，具体的可以参考C...

问题提出：在MP程式中如何在不同的TaskTracker节点上调用第三方jar包和读取一些只读的文件。 解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者是把第三方jar包添加到其classpath路径中去，要注意的是DistributedCache的使用是有一个前提的，就它会认为这些通过urls来表示的文件已经在hdfs文件系统里面，所以这里在使用的时候第一步就是要把这些文件上传到HDFS中。 然后Hadoop框架会把这些应用所需要...

memcached协议 旧版：http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt 新版：https://github.com/memcached/memcached/blob/master/doc/protocol.txt 一、协议       memcached的客户端使用TCP连接同memcached进行交互，memcached服务器监听指定的端口(默认端口是11211)。Client连接到memcached服务器，发送指令，获取数据，然后关闭...

Chineseinstallingandusinginstruction - Thebestguidanceininstallingandusing NutchinChina 国内首套免费的《Nutch相关框架视频教程》        土豆在线观看地址：http://www.tudou.com/home/item_u106249539s0p1.html 超清原版下载地址： http://pan.baidu.com/share/home?uk=315759...

入门 (+)() 背景 () 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。 此时，用于简化增删改查工作量的 数据访问框架(ORM) 垂直应用架构 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。 此时，用于加速前端页面开发的 Web框架(MVC) 分布式服务架构 当垂直应用越来越多，应用之间交互不可避...

MongoDB做为NoSQL数据库，最近几年持续升温，越来越多的企业都开始尝试用MongoDB代替原有Database做一些事情。MongoDB也在集群，分片，复制上也有相当不错的的表现。我通过将做各种MongoDB的部署实验进行介绍。 第三篇MongoDB自动分片autosharding，分为6个部分 初始化文件目录 启动shard节点 配置shard节点 插入数据分片实验 删除主分片 重置主分片 系统环境介绍： Ubuntu12.04.LTS64bitServer 1.初始化文件目录 创建目录 config1,config2,config3是配置节点 shard1,shar...

毛伟，什么都略懂一点，生活就多彩一些 squid是缓存服务器科班出生varnish是觉得squid性能不行，纯内存缓存服务器方案nginxcache是属于不务正业，得益于nginx强大的性能 深蓝加菲，混在IPTV/OTT/CDN，盯着云计算 SQUID是功能最全面的，但是架构太老，性能不咋的 Varnish是内存缓存，速度一流，但是内存缓存也限制了其容量，缓存页面和图片一般是挺好的 Nginx本来是反向代理/web服务器，用了插件可以做做这个副业，但是本身不支持特性挺多 ATS目前是一个不错的选择 BTW,这个可以看看  Q&AwithVarni...

作者： 如果你是一位站长，随着自己苦心经营的网站越来越受欢迎，网站的流量与日俱增，那么，你是否了解自己的网站，最大能承受多少个用户同一时间对网站进行访问？如果网站长时间无法响应，或是响应速度太慢，这会导致有很多的抱怨接踵而至，比如： 如果你是一位站长，随着自己苦心经营的网站越来越受欢迎，网站的流量与日俱增，那么，你是否了解自己的网站，最大能承受多少个用户同一时间对网站进行访问？如果网站长时间无法响应，或是响应速度太慢，这会导致有很多的抱怨接踵而至，比如： 1）春运时期，网上订购火车票的12306网站，只要一到放票的瞬间，服务器立马会超负荷的运行，经常会发生响应慢的情况，或者直接死给你看...

定义Nginx运行的用户和用户组 userwwwwww; nginx进程数，建议设置为等于CPU总核心数。 worker_processes8;全局错误日志定义类型，[debug|info|notice|warn|error|crit] error_log/var/log/nginx/error.loginfo;进程文件 pid/var/run/nginx.pid;一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit-n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit-n的值保持一致。 worker_rlimit_no...

我前前后后写过多篇与程序员找工作相关的文章，比如程序员跳槽神级攻略，找工作的辟邪剑谱，任性，春节前辞职，程序员该不该考虑初创公司，这些文章都收录在我的漫谈程序员专栏里，它们从跳槽时机、跳槽原因、简历优化等不同侧面讨论了程序员找工作的那些事儿，受到很多人的关注。今天呢，我准备专门分析一下程序员求职渠道，有料是必须的，就算你搜遍互联网深挖全宇宙，也会发现这篇文章将是史上最全、最强、最有针对性的程序员求职渠道分析。 还记得我2002年毕业时曾经在西安跑来跑去参加各种线下的招聘会，投简历等消息，也曾经通过华商报的前程无忧专版查看各个公司的招聘信息和各类各类招聘会的公告，还曾经辗转于西安的各个人才市场...

引言    近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yahoo！，YouTube，MySpace，Twitter，国内如优酷网等大型网站的技术架构（本文重点分析优酷网的技术架构），以飨读者。    本文着...

RS232接口，由于工业现场比较复杂，各种电气设备会在环境中产生比较多的电磁干扰，会导致信号传输错误。除此之外，RS232接口只能实现点对点通信，不具备联网功能，最大传输距离也只能达到十几米，不能满足远距离通信要求。而RS485则解决了这些问题，数据信号采用差分传输方式，可以有效的解决共模干扰问题，最大距离可达1200米，并且允许多个收发设备接到同一条总线上。随着工业应用通信越来越多，1979年施耐德电气制定了一个用于工业现场的总线协议Modbus协议，现在工业中使用RS485通信场合很多都采用Modbus协议，本节课我们就来讲解一下RS485通信和Modbus协议。KST-51...