Fork me on GitHub

Ubuntu Hadoopのhdfsをマウントする

  • Jan 19, 2009

categoryプラグインは存在しません。categoryプラグインは存在しません。

環境

概要

Hadoopのcontribに、HDFSをfuseを使ってマウントするツールがありますので、これを使う方法です。

準備

  • 必要なツールのインストール
sudo aptitude install default-jdk ant
sudo aptitude install automake autoconf libfuse-dev
  • 環境変数を設定
cd
vi .bashrc

として、以下の行を追記

export JAVA_HOME=/usr/lib/jvm/default-java

環境変数を有効にする

source .bashrc
cd
tar zxvf hadoop-0.19.0.tar.gz
  • fusedfsをビルド
cd hadoop-0.19.0
ant compile-libhdfs -Dlibhdfs=1
cp build/libhdfs/* libhdfs/
ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
  • wrapperを編集
mkdir -p contrib/fuse-dfs
cp src/contrib/fuse-dfs/src/fuse_dfs contrib/fuse-dfs/
cp src/contrib/fuse-dfs/src/fuse_dfs_wrapper.sh contrib/fuse-dfs/
cd contrib/fuse-dfs
vi fuse_dfs_wrapper.sh

として、HADOOP_HOMEを展開先パスに修正して、以下のようにexportを行の先頭に追加。

export HADOOP_HOME=/home/hoge/hadoop-0.18.0
export CLASSPATH=$CLASSPATH:$f

OS_ARCH, JAVA_HOME, LD_LIBRARY_PATHの行を以下のように変更する。

export OS_ARCH=i386
export JAVA_HOME=/usr/lib/jvm/default-java
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/libhdfs:/usr/local/lib
  • HDFSを起動
    • Hadoopをインストールした環境を立ち上げる
  • HDFSをマウント
  • </ul>
    cd ~/hadoop-0.18.0/contrib/fuse-dfs
    sudo mkdir -p /mnt/hdfs
    sudo ./fuse_dfs_wrapper.sh dfs://hadoopserver:9000 /mnt/hdfs