随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。
尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。
在这个博客帖子中，你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作用。在这个过程中，你也将学到Hadoop管理员应该考虑到各种因素。
结合存储和计算
过去的十年，IT组织已经标准化了刀片服务器和存储区域网(SAN)来满足联网和处理密集型的工作负载。尽管这个模型对于一些方面的标准程序是有相当意义 的，比如网站服务器，程序服务器，小型结构化数据库，数据移动等，但随着数据数量和用户数的增长，对于基础设施的要求也已经改变。网站服务器现在有了缓存 层；数据库需要本地硬盘支持大规模地并行；数据迁移量也超过了本地可处理的数量。
大部分的团队还没有弄清楚实际工作负载需求就开始搭建他们的Hadoop集群。
PS：TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。
TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。
TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每日计算量4PB，作业并发数2000左右；实际存储数据量80PB，文件数和块数达到6亿多；存储利用率83%左右，CPU利用率85%左右。经过四年多的持续投入和建设，TDW已经成为腾讯最大的离线数据处理平台。
TDW的功能模块主要包括：Hive、MapReduce、HDFS、TDBank、Lhotse等，如图1所示。TDW Core主要包括存储引擎HDFS、计算引擎MapReduce、查询引擎Hive，分别提供底层的存储、计算、查询服务，并且根据公司业务产品的应用情况进行了很多深度订制。TDBank负责数据采集，旨在统一数据接入入口，提供多样的数据接入方式。Lhotse任务调度系统是整个数据仓库的总管，提供一站式任务调度与管理。
图1 TDW的功能模块
PS：RHEL7和CentOS7出来有一段时间了，拿出点时间研究下，有几个地方跟6和5系列相比改变比较大，估计不少童鞋有点不太习惯。下面简要举例说明改变比较大的要点：
一、CentOS的Services使用了systemd来代替sysvinit管理
1、systemd的服务管理程序：
systemctl是主要的工具，它融合之前service和chkconfig的功能于一体。可以使用它永久性或只在当前会话中启用/禁用服务。
systemctl可以列出正在运行的服务状态，如图：
PS：昨天写一篇博客发现上传图片报错，文件已经上传100%但又跳出来“上传失败”，提示“缺少临时文件夹”。因之前更换了VPS，以为是图片目录权限问题，最后发现不是，是php的一个配置问题导致。
解决方法：
vim php.ini
找到upload_tmp_dir，改成如下：
upload_tmp_dir = /tmp
保存退出，重启php就ok。
PS：EPEL的yum源是很稳定的第三方yum安装源，也是我经常使用的，基于CentOS/RHEL 7.x的也有了，整理如下：
# wget http://dl.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.2.noarch.rpm
# yum install epel-release-7-0.2.noarch.rpm
或者
# rpm -ivh epel-release-7-0.2.noarch.rpm
验证查看是否安装成功：
yum repolist
More …
PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。
一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。
一种是通过硬件来进行进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于Nginx/LVS/HAProxy的基于Linux的开源免费的负载均衡软件，这些都是通过软件级别来实现，所以费用非常低廉。
目前关于网站架构一般比较合理流行的架构方案：Web前端采用Nginx/HAProxy+Keepalived作负载均衡器；后端采用MySQL数据库一主多从和读写分离，采用LVS+Keepalived的架构。当然要根据项目具体需求制定方案。
下面说说各自的特点和适用场合。
Nginx的优点是：
PS：本文作者是前盛大云CEO、Ucloud创始人季昕华，本人的工作经历使然对此文观点比较同感，也是比较不错的云计算IaaS层概念科普文。特记录如下：
云计算对普通用户来说，总是一个云里雾里的话题。本文从最基础的概念开始科普，说明了四个常见的错误理解，和作者的四个猜想。
IaaS(Infrastructure as a Service)，指基础设施即服务，消费者通过Internet可以从完善的计算机基础设施获得服务。基于Internet的服务(如存储和数据库)是IaaS的一部分。Internet上其他类型的服务包括平台即服务(Platform as a Service，PaaS)和软件即服务(Software as a Service，SaaS)。PaaS提供了用户可以访问的完整或部分的应用程序开发，SaaS则提供了完整的可直接使用的应用程序，比如通过Internet管理企业资源。
误解一：IaaS就是卖资源
现在流行的一个观点：IaaS就是卖资源，传统IDC是卖带宽和机架，云计算加上服务器，最多就是把这些资源通过虚拟化技术拆成散了零卖。
在我们看来，云计算分为3个层次：
Steve Jobs的光环已经随着他的离去而淡褪，短期内世上恐怕再难有人像他这样惊世骇俗般的改变了世界。但是如果你了解到一个人，一个来自南非年仅42岁的企业家在短短的20年里在全世界最酷的三个领域：互联网、可持续能源和航天技术中所取得的辉煌成就，你恐怕不会再眷恋Steve Jobs带给你的震撼。这个人就是Elon Musk。