요약 다루는 내용 분산 인스턴스에서 각각 airflow worker를 실행하고 task를 분산해서 실행하는법 task가 실행될 worker를 명시적으로 지정하는법 테스트 환경 두 개의 Amazon EC2 Instance 사용 1번 Instance에 아래와 같이 셋팅 metadata database(postsgres) rabbitmq airflow webserver airflow worker 2번 Instance에 아래와 같이 셋팅 airflow worker airflow configuration 1번과 2번 instance에 airflow를 설치한다. dag폴더에 동일한 파일을 넣어준다. dag폴더를 Git repository로 세팅하고 Chef, Puppet, Ansible등으로 동기화 해주는 방법도 있다.

Continue reading

Author's picture

Sanghun Kang

COOL

Data Engineer&Analyst

South Korea