整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。分布式计算框架主流是MapReduce，Storm和Spark。 首先说分布式存储系统HadoopDFS。它是一种本地文件系统之上的更高的抽象，把跨节点的组成的文件系统看成一个逻辑上的整体。它存储的思路是，把文件分成一个个block，每个block都有一定量的副本存储在不同的节点上，默认数量是3个，这保证了分布式存储的数据的稳定性。 HDFS的架构有NameNode、SecondaryNameNode、DataNode。Name...

一名优秀的数据分析师应该具备五方面的素质，态度严谨负责、好奇心强烈、逻辑思维清晰、擅长模仿、用于创新。 态度严谨负责 严谨负责是数据分析师的必备素质之一，只有奔着严谨负责的态度，才能保证数据的客观、准确。在企业里，数据分析师可以说是企业的医生，他们通过对企业运营数据的分析，为企业寻找症结的问题。 好奇心强烈 好奇心热皆有之，但是作为数据分析师，这份好奇心就应该更加强烈，要积极主动地发现挖掘隐藏在数据内部的真相。在数据分析师的脑子里，应该充满着无数个“为什么”，为什么是这样的结果，为什么不是那样的结果，导致这个结果的原因是什么，为什么结果是不预期的那样等等，这一系列问题都要在进行分析时提出来，...

随着物联网技术的进步和普及，智能家居系统的实现逐步变得容易。智能家居能极大的提高人们的生活质量，得益于家居系统的完善，而又如何确保单品完美接入您的智能系统吗？ 近年来，智能家居在中国掀起了一股不小的热浪，智能家居经过多年的洗礼，在我国已经走过了概念普及阶段，但是由于发展缓慢的问题，智能家居行业并没有得到普及，85%的消费者表示只是听说过智能家居，但是尚不知道智能家居到底包括哪些设备，要具备什么样的功能。 图1智能家居控制系统 其实这也是我国智能家居行业的定位尴尬，自从行业引进以来，尚没有统一的标准表明智能家居要达到怎样的需求，能够为消费者提供怎样的服务。不同厂家有不同的定位，一些照明企业、...

生态系统 LoRaWAN是由LoRaAlliance?支持的，是一个由500多名成员组成的开放的非营利性协会。其成员密切合作并分享经验，促进和推动了LoRaWAN协议的成功，成为了安全的运营商级的物联网LPWAN连接的领先开放的全球标准。 NB-IoT由3GPP和GSMA两家电信标准协会支持，他们都有促进移动网络和设备利益的共同目标。 频谱 LoRaWAN针对超低功耗和远程应用进行了优化。因此，运行在免申请许可的ISMSub-1GHz频谱上的网络，网络运营商和设备制造商都可以免费访问。 NB-IoT使用蜂窝频谱网络，针对频谱效率进行了优化，频段使用的许可费用非常高，而且也仅限于少数运...

从物联网的英文可以看出，物联网就是“把所有物品通过网络连接起来”。物联网的核心和基础仍然是互联网，是在现有人与人相连的互联网基础上的延伸和扩展;用户端延伸和扩展到了任何物品与物品之间。江苏省早在2009年就开始探索物联网，只是在那个时候，还没有人称之为物联网，当时被叫作“国家传感网”。　　而现在，物联网概念已经被市场接受，科技将人类带进了一个全新的时代——物联网时代。从一个二维码扫走的共享单车，到扫码入店、自动计算、智能分拣入库，再到科技、军事领域的无人机、无人车等等，这些技术听起来十分高大上，但也只是物联网的一小部分，未来物联网技术仍大有可为。 物联网成熟之后，真正实现了万物互联，即“人与...

交通被认为是物联网所有应用场景中最有前景的应用之一。随着城市化的发展，交通问题越来越严重，而传统的解决方案已无法满足新的交通问题，因此，智能交通应运而生。智能交通指的是利用先进的信息技术、数据传输技术以及计算机处理技术等有效的集成到交通运输管理体系中，使人、车和路能够紧密的配合，改善交通运输环境来提高资源利用率等。 我们根据实际的行业应用情况，总结了以下八大应用场景： 一、智能公交车 智能公交通过RFID、传感等技术，实时了解公交车的位置，实现弯道及路线提醒等功能。同时能结合公交的运行特点，通过智能调度系统，对线路、车辆进行规划调度，实现智能排班。 二、共享自行车 共享自行车是通过配有GPS...

1、出于企业经营成本的考虑。智能锁行业产业链条较长，布局全产业链条对企业的经营能力和资源要求更高，于是有相当数量的企业选择放弃对生产制造环节的投入，将生产环节交给代工厂来做，把更多的精力放在产品研发和售后服务上，这是典型的创业公司思维。 2、出于对技术能力的信心。不可否认的是，不少智能锁企业从互联网行业跨界而来，相信技术能带来光明和希望，重技术、轻生产给不少智能锁企业提供了更多讲故事的可能性。有企业在接受亿欧采访时表示，从不担心生产和售后的问题，生产制造已经有了稳定的代工厂，技术水平能保证几乎没有售后的需求。 3、出于自身优势和战略布局的考虑。传统锁企和专业智能锁企业“别无长物”，想要在智能...

由于物联网的快速发展，物联网卡也跟着火爆起来，受到了越来越多的企业欢迎。这个时候就有人问了，物联网卡为什么会这么火？它有哪些优势呢？接下来小编来个大家讲解一下吧。 物联网卡为什么会这么火？ 1．发展趋势 由于现在需要物联网卡的智能设备太多了，所以物联网卡的发展会越来越好，互联网巨头们纷纷表示“互联网时代即将过去，物联网时代即将到来”，而且各大巨头在近期都加大了对物联网行业的投入，比如阿里巴巴就成立了达摩院专门进行物联网方面的研发。 2．应用范围 物联网卡可以应用于各个领域，例如监控和监测、医疗健康、车联网、可穿戴设备、智能表具、无线POS机等诸多领域，物联网本质的是各种设备间的连接。物联网的...

远程传输数据的过程包括将文件从办公工作站复制到磁盘，然后复制到家庭计算机。将数据复制到软盘和其他磁盘的日子已经过去，我们看到边缘计算的兴起。但很多公司都在自问，什么是边缘计算? 在互联网发展的早期，我们已经习惯了等待-等待页面的加载，等待来自网站的响应，只是为了能“上网”。在当今世界，我们依靠互联网提供一切，从社交媒体帖子，到杂货订购，到国防。事实上，互联网已经从新奇发展到必然，因为互联网是云计算的支柱。 云的边缘 “边缘”一词来自抽象的地理区域，分布式计算就发生在当今的云技术环境中。一般来说，“云计算”由一组连接的服务器组成，这些服务器群集在一起，以防止服务器级的故障。这些服务器集群阵列由...

如今，现代软件的开发在硬件和软件资源方面的要求是非常苛刻的，而很多程序人员只是为了编写代码而投购买高端机器的情况并不少见。实际上，这样的处理和投入是值得的，但更重要的是，这些人可能会获得一些改善处境的机会。而令人关注的是，将云计算技术整合到业务的开发工作流程中可以显著提高生产力。 复杂的计算 如果开发研究人员正在进行与数据科学相关的研究或任何涉及大数据集的研究，那么很可能已经遇到了一些试图定期处理大量数据的问题。不幸的是，随着在这些领域的进展时，它会变得更加困难，这就是为什么许多数据科学家依赖外部云服务进行繁重的计算的原因。而人们只要浏览像Programering这样的网站，通常会看到大量类...

据可靠数据显示，截止到2018年，全国的大数据人才只有46万，未来3-5年人才缺口高达150万之多。市面招聘网站上都在争抢大数据人才，有3-5年工作经验的数据分析师年薪直接高达80万元，但是能找到的确是寥寥。高校培养大数据人才仍是初步阶段，短期内无法快速输出人才。 相信身边有很多应届毕业生以及想转行大数据的，状态大多都是：万脸懵逼。 老司机教你：看书、写代码、多交流。 2016年马上就过完，你看了几本书呢?小编为大家精心挑选了大数据领域里十本有价值的书，先干掉这几本书，再和老司机谈大数据!不过，像《大数据时代》、《数据之巅》等这些经典到“烂大街”的书我就不一一推荐了，很多人都看过，没看过的也...

关注智能自动化运维的趋势与难点 智能自动化运维是云数据中心时代尤为重要的趋势。公有云让基础设施资源更集中，企业放弃自建数据中心转而使用公有云，基础设施资源因此集中到了第三方服务商的手中。 这一定程度上使得企业运维轻量化，更注重上层应用的运维，后端较重的基础设施运维转嫁集中到了第三方公有云服务商的身上。基础设施运维的集中化，大体量化为自动化运维提供了良好的生存空间，企业前端的轻量的运维甚至也可以通过大数据以智能可视化的方式呈现出来。 避免人为失误与网络威胁 前不久，中国某大型云厂商因运维人员操作失误启动了一个BUG，导致一些客户访问官网控制台和使用MQ、NAS等多项产品功能出现问题，造...

M2M是将数据从一台终端传送到另一台终端，也就是就是机器与机器的对话。比如我们上班用的门禁卡，超市的条码扫描，再比如日前比较流行的NFC手机支付。从它的功能和潜在用途角度看，M2M引起了整个“物联网”的产生。 M2M有以下三个基本特征：数据和节点(DEP)、通信网络、数据融合点(DIP)。 DEP和DIP可以用于任何子系统集成。例如，一个完整的过程(X)到一个IT应用(Y)。图中显示了三要素之间的相互关系。这个解决方案也被称为“端对端的M2M”。(X)和应用(Y)构成了事实上的功能端点。 一般而言，一个数据端点(DEP)指的是一个微型计算机系统，一个连接到程序或者是更高层次子系统的端点。另一...

PaaS作为一个综合性的平台，在以」容器+编排引擎」的基础上有诸多关键技术点和难点，本次主要以开源框架和一些市场产品为依托，主要讲述关键点的实现 1.容器技术的选择：容器技术是整个平台的基石，犹如开发web需要选择开发语言一样，目前有docker和garden两种主流技术，自研技术选择时尽量选择技术相对成熟、企业应用案例相对较多、技术生态圈发展更多的技术，一般建议选择docker，如果华为的PaaS产品初期选择garden，目前也已转向了docker，docker已经成为一种事实上的标准。 2.编排引擎的选择：编排引擎的选择一般会依赖容器技术路线的选择，比如docker容器可以选择kuber...

日前，上海市政府正式发布《关于本市推动新一代人工智能发展的实施意见》，要求围绕智慧城市建设和超大型城市有序治理需求，加快人工智能在经济发展、城市治理和公共服务重点领域的深度应用，提升全员劳动生产率、公共服务能力和市民获得感。　　　　事实上，在人工智能技术持续突破的背景下，智慧城市建设如火如荼地开展。我国智慧城市建设在网络安全、法律规制、数据共享以及产业和人才升级等领域仍然存在短板。为此，建议从以下几方面着手加以改进：　　　　第一，设立城市治理安全等级和风险预估机制。城市治理安全等级的设立将规范人工智能的实践和应用范围，有效预防人工智能的“越界”风险，进而有助于管理者有效利用人工智能技术，趋利...

大量的数据散落在互联网中，要分析互联网上的数据，需要先把数据从网络中获取下业，这就需要网络爬虫技术。　　　　　　网络爬虫是搜索引擎抓取系统的重要组成部分，爬虫的主要目的是将互联网上网页下载到本地，形成一个或联网内容的镜像备份。　　　　网络爬虫的基本工作流程如下：　　　　1.首先选取一部分种子URL　　　　2.将这些URL放入待抓取URL队列　　　　3.从待抓取URL队列中取出待抓取的URL,解析DNS，得到主机的IP，并将URL对应的网页下载下来，存储到已下载网页库中，此外，将这些URL放入已抓取URL队列。　　　　4.分析已抓取到的网页内容中的其他URL,并将URL放入待抓取URL队列，从...

随着智能家居越来越受到人们欢迎，许多厂商纷纷加入到这片蓝海之中，产品也逐渐丰富起来。在品类众多的智能锁中，开锁方式自然也是五花八门。今天就来总结一下家用智能锁常见的开锁方式吧。 密码锁 密码是最常见的一种开锁方式。小到抽屉锁，大到金库，都能看到密码锁的身影。最早大家在电视剧中见到的智能门锁也多半都是密码锁。 可以说智能锁的前身就是用密码解锁的电子锁。而智能锁上的密码多采用数字密码的方式进行编码。每个家庭成员都会有一个或几个只有自己知道的数字作为密码。 有人会疑惑怎么会是只有自己知道的数字。这就是智能密码的优点所在，俗称虚伪密码技术。用户随意输入一串数字，只要该数字串中包含密码，即可成功解锁，...

  今年人工智能技术已在多方面实现突破进展，国内外的科技公司都在不断尝试将人工智能应用于更多领域，不论科技巨头还是初创企业，都在致力于不断创新，推动技术进步，接下来我们就来看看十项中外人工智能领域富有突破性的技术。   基于神经网络的机器翻译   入选理由：翻译是“自然语言处理”的最重要分支，也是比较难的一支。早年间，机器翻译还被视作“低级翻译”被嘲讽，如今神经网络的机器翻译准确性大大提高，堪比专业人工翻译。我们熟知的谷歌翻译、微软语音翻译以及搜狗语音识别等都是基于此项技术。   技术突破：机器翻译是科研人员攻...

挑战1：安全性 自公共云出现以来，企业一直担心潜在的安全风险，并且没有发生变化。在RightScale调查中，这是受访者提出的头号挑战：77%的人表示云安全是一项挑战，其中29%的人称之为重大挑战。 与其他IT员工相比，网络安全专家更关注云安全。雷锋网查询一家研究机构调查发现，90%的安全专家都在关注云计算的安全性。更具体地说，他们担心数据丢失和泄漏(67%)、数据隐私(61%)和违反机密性(53%)。 有趣的是，随着时间的推移，安全问题似乎逐渐减弱，特别是那些长期使用云的公司。RightScale报告指出：“随着公司对云的经验越来越丰富，最大的挑战发生了变化。安全性是云初学者中最大的问题，...

人工智能（AI）是物联网及工业4．0发展的核心。如果一个国家AI应用接受度越高，将对其GDP产生贡献愈大。我国在既有半导体及ICT技术优势及竞争力的基础上，迎合各产业的需求不断增加，开发出各种新应用晶片。 人类一直对于与自己相仿的机器人、以及人工智能（AI）的概念饶有兴致。好莱坞电影和科幻小说也一直启发着科学家们向着此方向不断努力。虽然AI的泡沫曾经破灭了多次，但是近年来，一些重大的发展与突破又一次将该领域带回到了公众面前。就目前而言，未来AI发展有八大新趋势。 一、行业垂直领域应用潜力大 人工智能市场在零售、交通运输和自动化、制造业及农业等各行业垂直领域具有巨大的潜力。而驱动市场的主要因素...