[关闭]
@changedi 2017-03-23T02:39:42.000000Z 字数 1563 阅读 1374

HDFS配额

大数据 HDFS



原文:http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-hdfs/HdfsQuotaAdminGuide.html

概述

HDFS允许管理员为独立的目录使用的名字数和空间大小设置quota配额。名字配额和空间配额操作互相独立,但是两类quota的管理和实现是紧密并行的。

名字配额

名字配额是对目录树中文件和目录的名字数目的严格限制。如果超出配额,那么创建文件和目录都将失败。配额与重命名目录绑定;重命名操作会失败,因为可能会导致配额冲突。但是设置quota仍旧可以成功,就算目录处于冲突状态。一个新建的目录没有关联的quota。quota的最大值是Long.Max_Value。 如果一个quota设置为1则强制目录保持空目录。(目录自己占用一个配额)

配额是随着fsimage一起持久存储的。启动时,如果fsimage遇到了quota的冲突(可能是fsimage被私自修改),那么每条冲突都会打印出一条警告信息。设置或者移除一个quota都会创建一条日志项。

空间配额

空间配额是目录树种文件使用最大字节数的严格限制。如果配额超限,block分配会失败。block的每个副本都计算quota。配额与重命名目录绑定;重命名操作会失败,因为可能会导致配额冲突。一个新建的目录没有关联的quota。quota的最大值是Long.Max_Value。一个设置为0的quota允许创建文件,但是创建的文件无法分配block。目录不占用主机文件系统空间,也不计入空间配额。主机文件系统空间用来存储文件元数据的部分也不计入空间配额。配额按照文件的复制因子来计算消耗;改变一个文件的复制因子,会导致quota配额的消耗。

配额是随着fsimage一起持久存储的。启动时,如果fsimage遇到了quota的冲突(可能是fsimage被私自修改),那么每条冲突都会打印出一条警告信息。设置或者移除一个quota都会创建一条日志项。

管理命令

配额通过一系列命令来管理,这些命令只能由管理员来提供。

报告命令

HDFS shell count命令的扩展,会报告quota值和当前使用了的名字和字节的count。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注