HDFS namenode源码分析-白红宇

HDFS namenode源码分析

阅读量：6928 次

发布时间：2019-06-27

本文共 8843 字，大约阅读时间需要 29 分钟。

Namenode的介绍

一个典型的HDFS系统包括一个NameNode和多个DataNode。

NameNode作为HDFS中文件目录和文件分配的管理者，它保存的最重要信息，就是下面两个映射：

文件名=>数据块

数据块=>DataNode列表

其中，文件名=>数据块保存在磁盘上（持久化）；但NameNode上不保存数据块=>DataNode列表，该列表是通过DataNode上报建立起来的。

NameNode启动流程

在命令行启动namenode的方法是:bin/hadoop namenode

查看bin/hadoop脚本，可以看到最后执行的java类是:org.apache.hadoop.hdfs.server.namenode.NameNode

NameNode的代码骨架如下:

public class NameNode implements ClientProtocol, DatanodeProtocol,NamenodeProtocol {  //操作hdfs文件系统的类  public FSNamesystem namesystem;  /** RPC服务器,DFSClient，DataNode和Namenode通信都要通过它 */  private Server server;  /** httpServer，平时我们在浏览器查看的hdfs的web管理控制台，就是通过它显示的，它包装了一个内嵌的jetty */  private HttpServer httpServer;  public static NameNode createNameNode(String argv[],                                  Configuration conf) throws IOException {    ...    StartupOption startOpt = parseArguments(argv);    ...    switch (startOpt) {      case FORMAT: //首次启动namenode要格式化，或者是重新初始化namenode        boolean aborted = format(conf, true);        System.exit(aborted ? 1 : 0);      case FINALIZE: //完成升级hadoop，删除备份        aborted = finalize(conf, true);        System.exit(aborted ? 1 : 0);      default:    }    ...    //创建NameNode对象，接着会执行initialize方法初始化    NameNode namenode = new NameNode(conf);    return namenode;  } private void initialize(Configuration conf) throws IOException {     ...     //从fsimage和edits log加载元数据     this.namesystem = new FSNamesystem(this, conf);    ....    //创建RPCServer，默认的rpc线程数是10，默认端口是8020    this.server = RPC.getServer(this, socAddr.getHostName(),        socAddr.getPort(), handlerCount, false, conf, namesystem        .getDelegationTokenSecretManager());        startHttpServer(conf);//启动http服务器，启动后可以通过http://namenode:50070 访问hdfs的管理页面    ....    this.server.start();  //启动RPC server       ....    startTrashEmptier(conf);//启动回收站清理线程，将过期的已删除文件，真正删除。  }  public static void main(String argv[]) throws Exception {    try {      ...      NameNode namenode = createNameNode(argv, null);      if (namenode != null)        namenode.join();    }     ...  }}

NameNode的启动流程最复杂的就是FSNamesystem的初始化了，这个类是NameNode启动的核心逻辑，而其他启动逻辑都比较好懂。可以自行查看代码。

org.apache.hadoop.hdfs.server.namenode.FSNamesystem具备了Namenode所提供基本服务的基础上，也可以料想到它实现的复杂性。

FSNamesystem的分析

FSNamesystem是文件系统命名空间系统类，它的骨架成员如下：

public class FSNamesystem {  //存储文件树  public FSDirectory dir;//BlocksMap类维护块（Block）到其元数据的映射表，元数据信息包括块所属的inode、存储块的Datanode。  final BlocksMap blocksMap = new BlocksMap(DEFAULT_INITIAL_MAP_CAPACITY,DEFAULT_MAP_LOAD_FACTOR);//失效块的映射表。  public CorruptReplicasMap corruptReplicas = new CorruptReplicasMap();  //datanode到块的映射表  NavigableMap
       
         datanodeMap = new TreeMap
        
         (); //datanodeMap的子集，只包含认为存活的DatanodeDescriptor，HeartbeatMonitor会定期清除过期的元素  ArrayList
         
           heartbeats = new ArrayList
          
           ();  //描述某些块的副本数量不足块的实体类，而且，对于块设定了优先级，通过一个优先级队列来管理块副本不足的块的集合。  private UnderReplicatedBlocks neededReplications = new UnderReplicatedBlocks();  //描述当前尚未完成块副本复制的块的列表。  private PendingReplicationBlocks pendingReplications;  //对文件的租约进行管理。  public LeaseManager leaseManager = new LeaseManager(this);   Daemon hbthread = null;   // 周期性地调用FSNamesystem类定义的heartbeatCheck方法，来监视Datanode结点发送的心跳状态信息，并做出处理  public Daemon lmthread = null;   // LeaseMonitor thread  Daemon smmthread = null;  // 用来周期性地检查是否达到离开安全模式的条件，因此，该线程必须在进入安全模式之后启动（也就是达到threshold）。  public Daemon replthread = null;  // 周期性调用两个方法:计算块副本数量，以制定计划并调度Datanode处理 ;处理未完成块的流水线复制的副本    private ReplicationMonitor replmon = null; // Replication metrics     //用来保存Datanode结点的主机 -> DatanodeDescriptor数组的映射  private Host2NodesMap host2DataNodeMap = new Host2NodesMap();   //表示一个具有树状网络拓扑结构的计算机集群，例如，一个集群可能由多个数据中心（Data Center）组成，在这些数据中心分布着为计算需求而设置的很多计算机的机架（Rack）。  NetworkTopology clusterMap = new NetworkTopology();  //该接口是一个支持插件的定义，通过插件定义DNS-name/IP-address -> RackID之间转换的解析器。  private DNSToSwitchMapping dnsToSwitchMapping;  //对指定的块副本的存放位置进行定位选择的实现类。  ReplicationTargetChooser replicator;  //用来跟踪Datanode的，哪些Datanode允许连接到Namenode，哪些不能够连接到Namenode，都在该类中指定的列表中记录着 private HostsFileReader hostsReader; }

FSNamesystem的更多分析，参考 http://blog.csdn.net/shirdrn/article/details/4610578

FSNamesystem初始化的代码骨架：

private void initialize(NameNode nn, Configuration conf) throws IOException {    ...    this.dir = new FSDirectory(this, conf);    ...    //从fsimage和edits加载元数据信息    this.dir.loadFSImage(getNamespaceDirs(conf),                         getNamespaceEditsDirs(conf), startOpt);    ...    this.hbthread = new Daemon(new HeartbeatMonitor()); //监视Datanode结点发送的心跳状态信息的后台线程    this.lmthread = new Daemon(leaseManager.new Monitor());//对文件的租约进行管理后台线程。    this.replmon = new ReplicationMonitor();    this.replthread = new Daemon(replmon);//处理未完成块的流水线复制的副本    hbthread.start();    lmthread.start();    replthread.start();    //从配置文件读取datanode的黑白名单    this.hostsReader = new HostsFileReader(conf.get("dfs.hosts",""),                                           conf.get("dfs.hosts.exclude",""));    //处理退役节点,一般会把退役节点的块做迁移    this.dnthread = new Daemon(new DecommissionManager(this).new Monitor(        conf.getInt("dfs.namenode.decommission.interval", 30),        conf.getInt("dfs.namenode.decommission.nodes.per.interval", 5)));    dnthread.start();    this.dnsToSwitchMapping = ReflectionUtils.newInstance(        conf.getClass("topology.node.switch.mapping.impl", ScriptBasedMapping.class,            DNSToSwitchMapping.class), conf);        if (dnsToSwitchMapping instanceof CachedDNSToSwitchMapping) {      dnsToSwitchMapping.resolve(new ArrayList
       
        (hostsReader.getHosts()));    }    ...  }

下面重点介绍成员FSDirectory类，FSNamesystem的对于元数据操作文件，就是通过它完成。

FSDirectory的分析

FSDirectory保存文件名到文件块的映射，并且把hdfs的修改写入到磁盘。

要介绍FSDirectory，就要了解几个类。

INode抽象类

该类是一个保存在内存中的file/block层次结构，一个基本的INode包含了文件和目录inode的通用域（Field），如名字，父目录，修改时间，访问时间，权限。

INodeDirectory类

INodeDirectory类继承自INode，它表示目录，可以想象得到，作为一个目录，应该提供从目录中检索得到指定的INode的操作。

INodeFile类

INodeFile类继承自INode，表示文件，正好与INodeDirectory相对应。它包含了文件对应的块信息，块大小，副本数。一个INodeFile类实例是不持有任何客户端或者Datanode信息的，就是一个基本的实在的文件。

INodeFileUnderConstruction类

因为在HDFS集群中需要执行计算任务，这要涉及到块的复制等操作，而某些块需要由Namenode调度分派给指定的进程去执行，这就需要一种实体类，既能够包含INodeFile的基本信息，又能够包含与在该INodeFile上执行操作的进程，所以，Hadoop实现了一个INodeFileUnderConstruction类，并在INodeFile类中实现了由INodeFile到INodeFileUnderConstruction的转换。

一个INodeFileUnderConstruction文件具有持有操作该文件的进程（客户端）的一些信息，如果客户端进程同时也是HDFS集群中Datanode，它就能够根据租约的有效性来执行与该文件相关的操作，例如复制等。

FSDirectory类

到了这里，我们可以介绍FSDirectory类了。它是用来存储文件系统目录的状态。它处理向磁盘中写入或加载数据，并且对目录中的数据发生的改变记录到日志中。它保存了一个最新的filename->blockset的映射表，并且将它写入到磁盘中。它的主要功能实现是成员FSImage fsImage完成。

它的核心属性如下：

class FSDirectory implements FSConstants, Closeable {  final INodeDirectoryWithQuota rootDir;// 具有配额限制的目录INodeDirectory，这里即是hdfs的根目录,但根目录不做配额验证  FSImage fsImage;  // FSImage映像,管理元数据的序列化和反序列化}

它的初始化代码如下：

FSDirectory(FSNamesystem ns, Configuration conf) {    this(new FSImage(), ns, conf);    ...  }  FSDirectory(FSImage fsImage, FSNamesystem ns, Configuration conf) {    rootDir = new INodeDirectoryWithQuota(INodeDirectory.ROOT_NAME,        ns.createFsOwnerPermissions(new FsPermission((short)0755)),        Integer.MAX_VALUE, -1);    this.fsImage = fsImage;    ....    namesystem = ns;    ....  }  //FSNamesystem在初始化完FSDirectory dir成员，会调用loadFSImage方法，从fsimage和edits加载元数据信息  void loadFSImage(Collection
       
         dataDirs,Collection
        
          editsDirs,StartupOption startOpt) throws IOException {    // format before starting up if requested    if (startOpt == StartupOption.FORMAT) {
     // 如果启动选项类型为FORMAT（格式化），在启动之前需要进行格式化        fsImage.setStorageDirectories(dataDirs, editsDirs);// 设置FSImage映像文件文件的存储目录：${dfs.name.dir},默认是/tmp/hadoop/dfs/name,是一个目录数组。      fsImage.format();// 对FSImage执行格式化操作        startOpt = StartupOption.REGULAR;    }    try {      if (fsImage.recoverTransitionRead(dataDirs, editsDirs, startOpt)) { // 根据启动选项及其对应存储目录(${dfs.name.dir})，分析存储目录，必要的话从先前的事务恢复过来          fsImage.saveNamespace(true);      }      FSEditLog editLog = fsImage.getEditLog();      assert editLog != null : "editLog must be initialized";      if (!editLog.isOpen())        editLog.open();      fsImage.setCheckpointDirectories(null, null);    }     ...  }

通过loadFSImage方法，我们可以看到加载一个FSImage映像的过程：首先需要对内存中的FSImage对象进行格式化；然后从将指定存储目录中的EditLog日志文件作用到格式化完成的FSImage内存映像上；最后需要再创建一个空的EditLog日志准备记录对命名空间进行修改的操作，以备检查点进程根据需要将EditLog内容作用到FSImage映像上，保持FSImage总是最新的，保证EditLog与FSImage同步。

FSDirectory的更多分析参考

总结

上面将了namenode相关的核心类的成员和初始化流程，这里总结下namenode的代码调用逻辑:

hdfs的目录和文件的创建，删除，还有文件的读写，追加，都是客户端通过rpc，调用namenode的接口。

接着namenode调用成员FSNamesystem namesystem完成文件的操作，namesystem会做租约的管理，网络拓扑的控制，文件权限的控制等。

接着namesystem调用成员FSDirectory dir操作，dir会做文件名到文件块的映射管理。

接着dir调用成员FSImage fsImage操作，fsImage会hdfs的所有变化，追加写入了EditLog，做持久化。

Secondrary Namenoe会定时(默认是一个小时)把namenode的EditLog和fsimage合并为一个fsimage，减少EditLog的文件大小。

本文只讲解namenode核心类的职责和调用逻辑，细节请自行查看hadoop的相关源码。

转载于:https://www.cnblogs.com/xiaohuangya/p/3515139.html

你可能感兴趣的文章