Put your functions in .zshenv. .zshenv is sourced on all invocations of the shell, unless the -f option is set. It should contain commands to set the command search path, plus other important environment variables. .zshenv should not contain commands that produce output or assume the shell is attached to a tty. .zshrc is sourced in interactive shells. It should contain commands to set up aliases, functions, options, key bindings, etc.

Continue reading

요약 다루는 내용 분산 인스턴스에서 각각 airflow worker를 실행하고 task를 분산해서 실행하는법 task가 실행될 worker를 명시적으로 지정하는법 테스트 환경 두 개의 Amazon EC2 Instance 사용 1번 Instance에 아래와 같이 셋팅 metadata database(postsgres) rabbitmq airflow webserver airflow worker 2번 Instance에 아래와 같이 셋팅 airflow worker airflow configuration 1번과 2번 instance에 airflow를 설치한다. dag폴더에 동일한 파일을 넣어준다. dag폴더를 Git repository로 세팅하고 Chef, Puppet, Ansible등으로 동기화 해주는 방법도 있다.

Continue reading

[Mac] ijavascript 설치

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew install pkg-config node zeromq sudo easy_install pip sudo pip install --upgrade pyzmq jupyter sudo npm install -g ijavascript 설치하고자 하는 가상환경에서 ijsinstall ijsnotebook으로 실행

Continue reading

Author's picture

Sanghun Kang

COOL

Data Engineer&Analyst

South Korea