1.介绍

hadoop文件体系（HDFS）是一个运转在一般的硬件之上的散布式文件体系，它和现有的散布式文件体系有着许多的类似性，可是和其他的散布式文件体系的差异也是很明显的，HDFS是高容错性的，能够布置在低本钱的硬件之上，HDFS供给高吞吐量地对运用程序数据拜访，它合适大数据集的运用程序，HDFS铺开一些POSIX的需求去完结流式地拜访文件数据，HDFS开端是为开源的apache项目nutch的根底结构而创立，HDFS是hadoop项意图一部分，而hadoop又是lucene的一部分。

2.假定和方针

硬件毛病

硬件的毛病时很正常的，而不是反常。整个HDFS体系将由数百或数千个存储着文件数据片断的服务器组成。实践上它里边有十分巨大的组成部分，每一个组成部分都会频频地呈现毛病，这就意味着HDFS里的一些组成部分是总是失效的，因而，毛病的检测和主动快速康复是HDFS一个很中心的结构方针。

流式的数据拜访

运转在HDFS之上的运用程序有必要流式地拜访它们的数据集，它不是典型的运转在惯例的文件体系之上的惯例程序。HDFS是规划成合适批量处理的，而不是用户交互式的。重点是在数据吞吐量，而不是数据拜访的反应时刻，POSIX强制的许多硬性需求对许多运用不是有必要的，去掉POSIX的许多要害当地的语义以取得更好的数据吞吐率。 大数据集运转在HDFS之上的程序有很许多的数据集。这意味着典型的HDFS文件是GB到TB的巨细，所以，HDFS是很好地支撑大文件。它应该供给很高的聚合数据带宽，应该一个集群中支撑数百个节点，还应该支撑一个集群中千万的文件。

简略共同性模型

大部分的HDFS程序对文件操作需求的是一次写入，屡次读取的。一个文件一旦创立、写入、封闭之后就不需求修改了。这个假定简略化了数据共同的问题和高吞吐量的数据拜访。Map-Reduce程序或许网络爬虫程序都是十分完美地合适这个模型。有一个计划在将来完结文件的附加写入。

移动核算比移动数据更经济

在接近要被核算的数据所存储的方位来进行核算是最理想的状况，尤其是在数据集特别巨大的时分。这样消除了网络的拥堵，进步了体系的全体吞吐量。这个假定便是将核算离数据更近比将文件移动到程序运转的方位更好。HDFS供给了接口，来让程序将自己移动到离数据存储的方位更近。

简便的拜访异构的软硬件渠道

HDFS应该规划成这样的一种办法，便是简略简便地从一个渠道到别的一个渠道，这将推进需求大数据集的运用更广泛地选用HDFS作为渠道。

姓名节点和数据节点

HDFS是一个主从结构的体系，一个HDFS集群是由一个姓名节点，它是一个办理文件的命名空间和调理客户端拜访文件的主服务器，当然还有的数据节点，一个节点一个，它来办理存储。HDFS露出文件命名空间和答运用户数据存储成文件。

内部机制是将一个文件分割成一个或多个的块，这些块存储在一组数据节点中。姓名节点操作文件命名空间的文件或目录操作，如翻开，封闭，重命名，等等。它一起确认块与数据节点的映射。数据节点来担任来自文件体系客户的读写恳求。

数据节点一起还要履行块的创立，删去，和来自姓名节点的块仿制指示。

姓名节点和数据节点都是软件运转在一般的机器之上，机器典型的都是linux，HDFS是用java来写的，任何支撑java的机器都能够运转姓名节点或数据节点，运用java言语的超简便型，很简略将HDFS布置到大范围的机器上。典型的布置时将有一个专门的机器来运转姓名节点软件，机群中的其他机器运转一个数据节点实例。体系结构排挤在一个机器上运转多个数据节点的实例，可是实践的布置不会有这种状况。

集群中只需一个姓名节点极大地简略化了体系的体系。姓名节点是仲裁者和一切HDFS的元数据的库房。体系规划成用户的实践数据不经过姓名节点。#p#

文件命名空间

HDFS支撑传统的承继是的文件安排。一个用户或一个程序能够创立目录，存储文件到许多目录之中。文件体系的姓名空间层次和其他的文件体系类似。能够创立、移动文件，将文件从一个目录移动到别的一个，或重命名。HDFS现在还没有完结用户的配额和拜访操控。HDFS还不支撑硬链接和软链接。可是，HDFS结构不排挤在将来完结这些功用。

姓名节点保护文件的体系的命名空间，任何文件命名空间的改动和或特点都被姓名节点记载。运用程序能够指定文件的仿制数，文件的仿制被称作文件的仿制因子，这些信息有姓名空间来担任存储。

数据仿制

HDFS规划成可靠地在集群中的许多机器之间存储十分许多的文件，它以块序列的办法存储每一个文件。文件的除了最终一个块的其他块都是相同的巨细。归于文件的块为了毛病容错而被仿制。块的巨细和仿制数能够为每个文件装备。HDFS中的文件都是严格地任何时分只需一个写操作。程序能够特别地为某个文件指定。仿制数，文件的仿制数能够在文件的创立的时分指定或许今后改动。姓名节点来做一切的块仿制，它周期性地承受来自集群中数据节点的心跳和块陈述。一个心跳的收条表明这个数据节点是健康的，是巴望服务数据的。一个块陈述包含该数据节点上的一切的块列表。

仿制块的放置方位。第一个块的阶段

仿制块的放置方位的挑选严重影响HDFS的可靠性和功用。这个特征是HDFS和其他的散布式文件体系的差异。这个特征需求许多的调理和经历。依据机架的仿制布局意图便是进步数据的可靠性，可用性和网络带宽的运用。

当时的这方面的完结办法是在这个方向上的第一步。短期的方针完结是这个办法要在出产环境下去验证，以得到它的行为和完结一个为将来的测验和研讨更佳的办法的根底。

HDFS运转在跨过许多机架的集群机器之上。两个不同机架上的节点通讯是经过交换机的，在大多数状况下，两个在相同机架上的节点之间的网络带宽是优于在不同的机架之上的两个机器。

在开端的时分，每一个数据节点自检它所属的机架，然后在向姓名节点注册的时分奉告它的机架id。HDFS供给接口以便很简略地挂载检测机架标明的模块。一个简略但不是最优的办法便是将仿制跨过不同的机架，这样以确保在这个机架呈现毛病而不丢掉数据，还能在读数据的时分充分运用不同机架的带宽。这个办法均匀地将仿制涣散在集群中以简略化地完结了组件实效的负载均衡，可是，这个办法添加了写的本钱，由于写的时分需求传输文件块到许多的机架。

在大多数仿制数为3的一般的状况下，HDFS放置办法是将第一个放在本地节点，将第二个仿制放到本地机架上的别的一个节点而将第三个仿制放到不同机架上的节点。这种办法削减了机架内的写流量，进步了写的功用。机架失效的时机远小于机器实效的。这种办法没有影响数据的可靠性和可用性的确保。可是它削减了读操作的网络聚合带宽，由于文件块存在

两个不同的机架， 而不是三个。文件的仿制不是均匀地散布在机架傍边。1/3在同一个节点上，第二个1/3仿制在同一个机架上，别的1/3是均匀地散布在其他的机架上。这种办法进步了写功用，而没有影响数据的可靠性和读功用。

上面的完结办法正在进行中。

仿制的挑选

HDFS测验满意一个读操作来自离它最近的仿制。假定在读节点的同一个机架上就有这个仿制，就直接读这个，假定HDFS集群是跨过多个数据中心，那么本地数据中心的仿制是优先于长途的仿制。

安全形式

在发动的时分，姓名节点进入一个特别的状况叫做安全形式。安全形式是不发生文件块的仿制的。姓名节点承受来自数据节点的心跳和块陈述。一个块陈述包含的是数据节点向姓名节点陈述数据块的列表。

每一个块有一个特定的最小仿制数。当姓名节点检查这个块现已大于最小的仿制数就被认为是安全地仿制了，当到达装备的块安全仿制份额时（+30s）姓名节点就退出安全形式。它将检测数据块的列表，将小于特定仿制数的块仿制到其他的数据节点。#p#

文件体系的元数据的耐久化

HDFS的命名空间是由姓名节点来存储的。姓名节点用业务日志叫做EditLog来耐久化每一个对文件体系的元数据的改动，例如，在HDFS中创立一个新的文件，姓名节点将会刺进一吊记载到EditLog来标明这个改动。类似地，改动文件的仿制因子也会向EditLog中刺进一条记载。姓名节点在本地文件体系顶用一个文件来存储这个EditLog。完好的文件体系命名空间、文件块的映射和文件体系的装备都存在一个叫FsImage的文件中，FsImage也是姓名节点的本地文件体系中。

姓名节点在内存中有一个完好的文件体系命名空间和文件块的映射镜像。这个元数据时规划成紧凑的，这样4G的内存的姓名节点就能很轻松地处理十分大文件数和目录，当姓名节点发动，它将从磁盘中读取FsImage和EditLog运用EditLog中的一切的业务到内存中的FsImage表明办法，然后将新的元数据改写到本地磁盘的新的FsImage中这样能够截去旧的EditLog，由于业务现已被处理并现已耐久化的FsImage中。这个进程叫做检查点。在现在的完结检查点在姓名节点发动的时分发生。支撑周期性的检查点正在进行中。

数据节点存储HDFS数据到本地的文件体系中。数据节点没有关于HDFS文件的信息。它以独自的文件存储每一个HDFS的块到本地文件体系中。数据节点不发生一切的文件到同一个目录中，而是它用启发式的检测最优的每一个目录的文件数。它在恰当的时分创立子目录。在本地文件的同一个目录下创立一切的文件不是最优的，由于本地文件体系或许单个目录里有数目巨大的文件功率较差。当数据节点发动的时分，它将扫描它的本地文件体系，依据本地的文件发生一个一切HDFS数据块的列表并陈述给姓名节点，这个陈述称作块陈述。

通讯协议

一切的通讯协议都是在TCP/IP协议之上的。一个客户端和清晰的装备端口的姓名节点树立衔接之后，它和姓名节点的协议是ClientProtocal。数据节点和姓名节点之间用DatanodeProtocal。具体的这些协议将在后边解说。

RPC抽象地包装了ClientProtocol和DataNodeProtocol。依据规划，姓名节点不会建议一个RPC，它仅仅对数据节点和客户端建议的RPC做出反应。

莽撞性

HDFS的首要方针便是在存在毛病的状况下可靠地存储数据。三个一般的毛病是姓名节点实效，数据节点实效，和网络断开。

磁盘毛病，心跳和从头仿制

一个数据节点周期性发送一个心跳信息到姓名节点。网络断开会形成一个数据节点子集和姓名节点失掉联络。姓名节点发现这种状况是依据有没有了心跳信息。姓名节点符号这些数据节点是死掉了，就不再将新的IO恳求转发到这些数据节点上。而这些数据节点上的数据将对HDFS不再可用。这将导致一些块的仿制因子下降到指定的值。

姓名节点检查一切的需求仿制的块，并开端仿制他们到其他的数据节点上。从头仿制会由于许多原因而有必要 例如：数据节点变得比可用，被破坏了的仿制，数据节点上的磁盘损坏或添加了文件的仿制因子。#p#

集群的从头均衡

HDFS体系结构是兼容数据的从头平衡计划的。在数据节点的可用空间下降到一个极限时数据或许主动的从一个数据节点移动到别的一个，并且一个突然地对一个特别的文件发生高恳求时也会引发额定的仿制，将集群中的其他数据从头均衡。这种类型的从头均衡计划还没有完结。

数据正确性

从数据节点上取一个文件块有或许呈现损坏的状况，这种状况或许会发生是由于存储设备，差劲的网络，软件的缺点。HDFS客户端完结了校验去检查HDFS的文件内容。当一个客户端创立一个HDFS文件，它为每一个文件快核算一个校验码并存储校验码在同一个HDFS姓名空间中的一个独自的躲藏文件中。当客户端找回这个文件内容时，它再依据这个校验码来验证从数据节点承受到的数据。假定不对，客户端能够从别的一个有该块仿制的数据节点取这个块。

元数据磁盘实效

FsImage和Editlog是HDFS的中心数据结构。这些文件的损坏会导致整个集群的不作业。应为这个原因，姓名节点能够装备成多个FsImage和EditLog的仿制。任何的不论对FsImage和EditLog的更新都会同步地更新每一个仿制。

这个同步的更新多个EditLog或许下降了姓名节点的可支撑姓名空间的每秒买卖数。可是这个下降是可承受的，由于HDFS程序都是自然地对数据要求激烈，而不是对元数据的要求激烈。姓名节点从头发动时，挑选最新的共同的FsImage和EditLog。

姓名节点队以HDFS集群是单点实效的。假定姓名节点实效，手艺的干与是必要的，当时，主动的重启和切换到别的的姓名节点现在还不支撑。

快照

快照支撑在一个特定时刻存储一个数据仿制，快照的一个用处能够将实效的集群回滚到之前的一个正常时刻点上。HDFS现在还不支撑快照，可是将被将来的版别支撑。

数据安排

数据块

HDFS是规划成支撑大文件数的。程序也是和HDFS相同地处理大数据集。这些程序写数据仅一次，读数据一次或屡次，需求一个比较好的流读取速度。HDFS支撑文件的写一次读屡次的。HDFS典型的块巨细是64M，一个HDFS文件能够最多被切分红128MB个块，每一个块散布在不同的数据节点上。

分段运输

当一个客户端恳求创立一个文件的时分，并不是当即恳求姓名节点，事实是，HDFS客户端在本地的文件中缓存文件数据，运用程序的写操作明显地转移到这个暂时的本地文件。当本地文件堆积到大于HDFS块巨细的时分，客户端联络姓名节点。姓名节点刺进文件名到文件体系层次傍边，然后结构一个数据块。姓名节点回应客户端的恳求包含数据节点（或许多个）的标识和方针数据块，客户端再将本地的暂时文件改写指定的数据节点数据块中。

当文件封闭，还有一些没有改写的本地暂时文件被传递到数据节点。客户端就告诉姓名节点，这个文件现已封闭。这个时刻和，姓名节点提交文件的创立操作到耐久化存储。假定姓名节点在文件封闭之前死掉，文件就丢掉了。

上面的办法在细心地考虑运转在HDFS之上的方针程序之后被选用。运用程序需求流式地写文件。假定客户端直接写到长途文件体系，而没有本地的缓冲对网速和网络吞吐量发生适当的影响。这种办法也不是没有前科，前期的散布是文件体系，例如AFS也用客户端的缓冲来进步功用，POSIX需求也不拘谨高功用的数据上传的完结。

流水线操作

当客户端写数据到HDFS文件中，像上面所讲数据首要写道本地文件中，假定HDFS的仿制因子是3，当本地文件堆积到一块巨细的数据，客户端从姓名节点取得一个数据节点的列表。这个列表描绘一些数据节点将接纳块的仿制。客户端改写数据块到第一个数据节点。第一个数据节点开端接纳数据到一个很小的方位（4kb），写每一个部分到本地的库中，并且传输每一个部分到列表中的第二个数据节点，这样就轮到第二个数据节点，第二个数据节点好像第一个数据节点给第三个数据节点，第三个数据节点直接写到本地的库中。一个数据节点能够承受来自前一个的节点的数据，一起还能够将数据流水式传递给下一个节点，所以，数据时流水式地从一个数据节点传递到下一个。

可拜访

HDFS能够由运用程序多种办法存取，自然地，HDFS供给为程序供给java api，为c言语包装的java api也是能够的，还有一个HTTP阅读HDFS中的文件，经过WebDAV协议拜访HDFS内容库正在进行。

DFSShell

HDFS答运用户数据由文件和文件夹式的办理，它供给一个接口叫DFSShell，让用户和HDFS中的数据交互

指令集的语法跟其他的shells（bash,csh）类似

创立目录foodir: hadoop dfs -mkdir /foodir

检查文件 /foodir/myfile.txt: hadoop dfs -cat /foodir/myfile.txt

删去文件/foodir/myfile.txt: hadoop dfs -rm /foodir myfile.txt

DFSAdmin

DFSAdmin指令集是用于办理dfs集群的，这些指令只由HDFS办理员运用

将集群设置成安全形式: bin/hadoop dfsadmin -safemode enter

发生一个数据节点的列表: bin/hadoop dfsadmin -report

去掉一个数据节点: bin/hadoop dfsadmin -decommission datanodename

阅读接口

典型的HDFS装置装备了一个web 服务去露出HDFS的命名空间，答应web阅读器去阅读HDFS的命名空间和检查

HDFS文件的内容

空间收回

• 文件删去和康复删去

当一个文件被用户或程序删去，它并不是当即从HDFS中删去，而是HDFS将它从头命名到/trash目录下的文件，这个文件只需还在/trash目录下保存就能够从头快速康复。当这个文件在/trach里呆够装备的时刻，姓名节点就将它从姓名空间中删去，这个删去将导致这个文件的文件块都被开释。这个时刻距离能够被感知，从用户删去文件到HDFS的闲暇空间的添加。

用户能够在删去一个文件之后，它还在/trash目录下的状况下，康复删去一个文件，假定一个用户期望康复删去他现已删去的文件，能够阅读/trash目录，从头取得这个文件。/trash目录之保存最新版别的删去文件。/trash目录也像其他目录相同，只需一个特别的功用，便是HDFS运用一个特定的规矩，主动地删去这个目录里的文件，当时默许的规矩是删去在此目录呆够6小时的文件，将来这个规矩将由一个接口来装备。

• 削减仿制因子

当文件的仿制因子削减了，姓名节点挑选过度的仿制去删去掉，下一次的心跳的时分传递这个信息给数据节点。数据节点移除相应的块，相应的闲暇空间将显现在集群中，这一点要注意的便是这个或许会有段时刻进程在完结setReplication和显现集群的闲暇空间。