hdfs

  • ファイルを確認する。
hdfs dfs -ls /user
  • namenodeを明示指定する。
hdfs dfs -fs hdfs://nn1 -ls /user
  • ファイルを置く。
hdfs dfs -put test.txt /user/hdfs
  • ファイルを削除する。
hdfs dfs -rm /user/hdfs/test.txt
  • ディレクトリごと削除する。
hdfs dfs -rm -r /user/hdfs/test/
  • ディスク容量を確認する。
hdfs dfs -du /user
  • レプリ数を変更する。
hdfs dfs -setrep 2 /user/hdfs/test.txt
  • ディレクトリ以下すべてのレプリ数を変更する。
hdfs dfs -setrep -R 2 /user/hdfs
  • fsckする。
hdfs fsck / -blocks
  • hdfsの状態を確認する。
hdfs dfsadmin -report
  • balancer速度を変更する。
hdfs dfsadmin -setBalancerBandwidth 1073741824
  • safemodeを確認する。
hdfs dfsadmin -safemode get
  • safemodeに変更する。
hdfs dfsadmin -safemode enter
  • safemodeを終了する。
hdfs dfsadmin -safemode leave
  • namenodeのイメージを保存する。
hdfs dfsadmin -saveNamespace
  • namenodeのstateを確認する。
hdfs haadmin -getServiceState nn1
  • namenodeをfailoverさせる。
hdfs haadmin -failover nn1 nn2