• 2.7.3기준으로 작성되어있음.
• 2.7.3을 설치하고자 하는 버전으로 바꿔주세요.
• 참조

Homebrew 설치

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Hadoop 설치

brew install hadoop

• /usr/local/Cellar/hadoop에 설치됨

Hadoop 설정

hadoop-env.sh 편집

• 파일 위치: ‘/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hadoop-env.sh’

이 부분을

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

아래처럼 변경

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

Core-site.xml 편집

• 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/core-site.xml .

<configuration>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
     <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
  </property>
</configuration>

mapred-site.xml 편집

• 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9010</value>
</property>
</configuration>

hdfs-site.xml 편집

• 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

(Optional)alias 추가

• 나 같은 경우엔 zsh사용자라 .zshrc에 아래 내용 추가
• 추가 후 source ~/.zshrc

alias hstart="/usr/local/Cellar/hadoop/2.7.3/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh"
alias hstop="/usr/local/Cellar/hadoop/2.7.3/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"

format hdfs

hdfs namenode -format

SSH Localhost

• ssh key를 이미 생성했다면 패스해도 됨.
• ssh-keygen -t rsa
• Enable Remote Login
  • “System Preferences” -> “Sharing”. Check “Remote Login”
• Authorize SSH Keys
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• 테스트
  • ssh localhost
  • 로그인 되면 성공
  • exit로 종료

Hadoop 실행&종료

• 위에서 만든 alias를 활용 하자.
• hstart
• hstop