MaxOS Hadoop 설치
- 2.7.3기준으로 작성되어있음.
2.7.3을 설치하고자 하는 버전으로 바꿔주세요.- 참조
Homebrew 설치
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
Hadoop 설치
brew install hadoop
/usr/local/Cellar/hadoop에 설치됨
Hadoop 설정
hadoop-env.sh 편집
- 파일 위치: ‘/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hadoop-env.sh’
이 부분을
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
아래처럼 변경
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
Core-site.xml 편집
- 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/core-site.xml .
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml 편집
- 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9010</value>
</property>
</configuration>
hdfs-site.xml 편집
- 파일 위치: /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(Optional)alias 추가
- 나 같은 경우엔 zsh사용자라 .zshrc에 아래 내용 추가
- 추가 후
source ~/.zshrc
alias hstart="/usr/local/Cellar/hadoop/2.7.3/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/start-yarn.sh"
alias hstop="/usr/local/Cellar/hadoop/2.7.3/sbin/stop-yarn.sh;/usr/local/Cellar/hadoop/2.6.0/sbin/stop-dfs.sh"
format hdfs
hdfs namenode -format
SSH Localhost
- ssh key를 이미 생성했다면 패스해도 됨.
ssh-keygen -t rsa- Enable Remote Login
- “System Preferences” -> “Sharing”. Check “Remote Login”
- Authorize SSH Keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 테스트
ssh localhost- 로그인 되면 성공
exit로 종료
Hadoop 실행&종료
- 위에서 만든 alias를 활용 하자.
hstarthstop
