第十五讲.元数据分析:查看解析fsimage和Edits文件
视频:【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】元数据-------------------------1.查看fsimage文件$>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML【<?xml version
视频:【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【视频笔记】
元数据
-------------------------
1.查看fsimage文件
$>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML
【
<?xml version="1.0"?>
<fsimage>
<NameSection>
<genstampV1>1000</genstampV1>
<genstampV2>1002</genstampV2>
<genstampV1Limit>0</genstampV1Limit>
<!-- 描述当前镜像的最后一个块ID -->
<lastAllocatedBlockId>1073741826</lastAllocatedBlockId>
<!-- 事务ID-对应的是fsimage_0000000000000000022 -->
<txid>22</txid>
</NameSection>
<INodeSection>
<lastInodeId>16390</lastInodeId>
<!-- inode节点描述HDFS文件系统所有信息
我们保留文件/块层次结构的内存中表示。这是一个基本的INode类,它包含文件和文件的公共字段目录inode。
-->
<inode>
<id>16385</id>
<type>DIRECTORY</type>
<name></name>
<mtime>1528043810446</mtime>
<permission>hyxy:supergroup:rwxr-xr-x</permission>
<nsquota>9223372036854775807</nsquota>
<dsquota>-1</dsquota>
</inode>
<inode>
<id>16386</id>
<type>DIRECTORY</type>
<name>user</name>
<mtime>1528043865470</mtime>
<permission>hyxy:supergroup:rwxr-xr-x</permission>
<nsquota>-1</nsquota>
<dsquota>-1</dsquota>
</inode>
<inode>
<id>16387</id>
<type>DIRECTORY</type>
<name>hyxy</name>
<mtime>1528044944833</mtime>
<permission>hyxy:supergroup:rwxr-xr-x</permission>
<nsquota>-1</nsquota>
<dsquota>-1</dsquota>
</inode>
<inode>
<id>16388</id>
<type>DIRECTORY</type>
<name>20180603</name>
<mtime>1528044017284</mtime>
<permission>hyxy:supergroup:rwxr-xr-x</permission>
<nsquota>-1</nsquota>
<dsquota>-1</dsquota>
</inode>
<inode>
<id>16390</id>
<type>FILE</type>
<name>text.txt</name>
<replication>3</replication>
<mtime>1528044017272</mtime>
<atime>1528044016919</atime>
<perferredBlockSize>134217728</perferredBlockSize>
<permission>hyxy:supergroup:rw-r--r--</permission>
<blocks>
<block>
<id>1073741826</id>
<genstamp>1002</genstamp>
<numBytes>12</numBytes>
</block>
</blocks>
</inode>
</INodeSection>
<INodeReferenceSection></INodeReferenceSection>
<SnapshotSection>
<snapshotCounter>0</snapshotCounter>
</SnapshotSection>
<INodeDirectorySection>
<directory>
<parent>16385</parent>
<inode>16386</inode>
</directory>
<directory>
<parent>16386</parent>
<inode>16387</inode>
</directory>
<directory>
<parent>16387</parent>
<inode>16388</inode>
</directory>
<directory>
<parent>16388</parent>
<inode>16390</inode>
</directory>
</INodeDirectorySection>
<FileUnderConstructionSection></FileUnderConstructionSection>
<SnapshotDiffSection>
<diff>
<inodeid>16385</inodeid>
</diff>
</SnapshotDiffSection>
<SecretManagerSection>
<currentId>0</currentId>
<tokenSequenceNumber>0</tokenSequenceNumber>
</SecretManagerSection>
<CacheManagerSection>
<nextDirectiveId>1</nextDirectiveId>
</CacheManagerSection>
</fsimage>
】
hdfs:分布式文件系统【分布式{切块和复本}---文件系统{逻辑上的}】
镜像文件当中包含哪些信息,参照上述XML
2.查看edits文件
$>hdfs oev -i edits_inprogress_0000000000000000040 -o ~/ed.xml
【
<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
<EDITS_VERSION>-63</EDITS_VERSION>
<RECORD>
<OPCODE>OP_START_LOG_SEGMENT</OPCODE>
<DATA>
<TXID>40</TXID>
</DATA>
</RECORD>
<RECORD>
<OPCODE>OP_MKDIR</OPCODE>
<DATA>
<TXID>41</TXID>
<LENGTH>0</LENGTH>
<INODEID>16392</INODEID>
<PATH>/hyxy</PATH>
<TIMESTAMP>1528055285399</TIMESTAMP>
<PERMISSION_STATUS>
<USERNAME>hyxy</USERNAME>
<GROUPNAME>supergroup</GROUPNAME>
<MODE>493</MODE>
</PERMISSION_STATUS>
</DATA>
</RECORD>
</EDITS>
】

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐
所有评论(0)