大数据开发工程师-面试题-Hadoop(HDFS写数据流程)

HDFS写数据流程：

（1）客户端通过分布式文件系统(DistributedFileSystem)模块向NameNode请求上传文件，这时NameNode会检查是否有权限上传以及检查目标文件是否已存在；

（2）NameNode返回检查的结果，响应是否可以上传；

（3）NameNode返回可以上传的响应，那么客户端将请求第一个Block，并询问NameNode服务器数据具体上传到哪几台DataNode上；

（4）NameNode此时根据副本数量和副本放置策略进行节点分配，返回3个DataNode节点，分别为dn1、dn2、dn3；

（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求之后，会继续调用dn2，然后dn2调用dn3，将上传的通道建立起来；

（6）通道建立完成之后，dn1、dn2、dn3逐级应答客户端，表示已经准备好了；

（7）客户端开始往dn1上传第一个Block，以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3，dn1每传一个Packet会放入一个应答队列等待应答；

（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block，重复执行上述3-7步骤；

(每日1小题，进步1点点)