[Mac] Apche Spark 설치

Java 설치 이미 설치된 java의 경로를 찾고 싶다면 /usr/libexec/java_home 명령어를 이용하면 된다. brew tap caskroom/versions brew cask search java # brew cask install java 이렇게하면 자바9가 설치됩니다. brew cask install java8 2017-12-05 현재 Spark는 Java9를 지원하지 않는다. 그러므로 java8을 설치해야한다. 아래처럼 본인의 version에 맞는 path를 .bashrc(또는 .zshrc)에 지정해준다. export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_152.jdk/Contents/Home" Scala 설치 brew install scala java와 마찬가지로 본인의 version에 맞는 path를 .bashrc(또는 .

Continue reading

Mac에서 pymssql 설치시 에러가 나는경우 아래와 같은 방법을 시도해보자. # 이미 freedts가 설치되어있다면 삭제해준다. # brew uninstall freedts brew install freetds091 brew link --force freetds@0.91 pip install pymssql

Continue reading

MaxOS Hive 설치

참조 https://cwiki.apache.org/confluence/display/Hive/GettingStarted https://noobergeek.wordpress.com/2013/11/09/simplest-way-to-install-and-configure-hive-for-mac-osx-lion/ 1. Install hive via brew. This will take some time brew install hive 2. Add hadoop and hive to your path by editing your bash_profile zshell사용자라면 .bash_profile대신 .zshrc vi ~/.bash_profile 아래 내용 추가 bash export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop.version.no export HIVE_HOME=/usr/local/Cellar/hive/hive.version.no/libexec source ~/.bash_profile 3. Download the mysql connector 버전은 최신버전으로 다운받으면 좋음. ``` $ curl -L ‘http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/' | tar xz $ sudo cp mysql-connector-java-5.

Continue reading

Author's picture

Sanghun Kang

COOL

Data Engineer&Analyst

South Korea