Operator Airflow 공식 홈페이지 소개에 따르면 Operator는 이론적으로 멱등성을 특징으로 하는 단일 작업(Task)으로 소개하고 있습니다. 사용 안내서를 살펴보면, 기본적으로 제공하는 Operator를 볼 수 있습니다. 그 중 BashOperator, PythonOperator를 살펴보도록 합니다. BashOperator Bash Shell 명령어를 실행합니다. 자세한 내용은 BashOperator에서 확인할 수 있습니다. run_this = BashOperator( task_id=’run_after_loop’, bash_command=’echo 1′, ) run_after_loop 작업의 결과는 아래의 결과와 똑같습니다. echo …
Airflow
Airflow 프로그래밍 언어(파이썬, Python)으로 작업 흐름(Workflows)을 관리, 모니터하는 플랫폼으로 더 자세한 내용은 링크를 참고하세요. 설치 공식 가이드를 따라 설치를 진행합니다. 설치는 Ubuntu 20.04에서 진행하였습니다. Dependencies 설치 sudo apt-get update -y sudo apt-get install -y –no-install-recommends freetds-bin krb5-user ldap-utils libsasl2-2 libsasl2-modules libssl1.1 locales lsb-release sasl2-bin sqlite3 unixodbc postgresql python3-pip python3-testresources 환경 변수 설정 export AIRFLOW_HOME=~/airflow export …
Chocolatey 윈도우(Windows)에서 설치하기 어려웠던 패키지 프로그램을 쉽게 설치할 수 있도록 도와주는 패키지 관리 프로그램입니다. 설치 관리자 권한으로 터미널 열기 (Powershell) 반드시 관리자 권한으로 터미널을 열어주세요. Get-ExecutionPolicy 명령어 입력하여 실행 권한 확인 Get-ExecutionPolicy # expected output # Bypass(or AllSigned) 만약 결과가 다른 경우 권한을 변경하여야 합니다. 결과가 Bypass 또는 AllSigned가 아니면 Set-ExecutionPolicy 명령어를 입력합니다. Set-ExecutionPolicy Bypass …