AWS
AWS
Pipeline 앞서 생성한 Source, Build, Deploy 과정을 하나의 Pipeline으로 만들어봅니다. Create Pipeline 서비스 선택 CodePipeline 선택 Pipelines 선택 Create pipeline 선택 Pipeline name DemoApp입력 Source provider AWS CodeCommit 선택 Repository name DemoApp 선택 Branch name master 선택 Next 선택 Build provider AWS CodeBuild 선택 Project name DemoApp 선택 Next 선택 Deploy provider AWS CodeDeploy 선택 …
Airflow 프로그래밍 언어(파이썬, Python)으로 작업 흐름(Workflows)을 관리, 모니터하는 플랫폼으로 더 자세한 내용은 링크를 참고하세요. 설치 공식 가이드를 따라 설치를 진행합니다. 설치는 Ubuntu 20.04에서 진행하였습니다. Dependencies 설치 sudo apt-get update -y sudo apt-get install -y –no-install-recommends freetds-bin krb5-user ldap-utils libsasl2-2 libsasl2-modules libssl1.1 locales lsb-release sasl2-bin sqlite3 unixodbc postgresql python3-pip python3-testresources 환경 변수 설정 export AIRFLOW_HOME=~/airflow export …
개요 – Private Repository (ECR)에 Airflow Helm Chart를 저장(Push)합니다. – ECR에 업로드한 Helm Chart를 EKS Cluster에 설치합니다. 차트 동기화 Airflow Helm Chart 정보를 Private Repository인 ECR에 Push합니다. EC2 접속 AWS CLI 사용이 가능한 EC2 인스턴스로 접속합니다. 모든 작업은 접속한 EC2 인스턴스에서 진행합니다. SSH 접속 [ec2-user@ip-10-10-1-5 ~]$ ECR 생성 Helm Chart를 저장할 Private Repository를 생성합니다. Private …
사전 요구사항 aws cli 설치 1. 콘솔용 EC2 생성 VPC 생성 aws ec2 create-vpc –cidr-block 100.100.0.0/16 –tag-specifications "ResourceType=vpc,Tags=[{Key=Service,Value=DEV},{Key=Name,Value=KB-VPC}]" 결과 : vpc-0de527d9f64877014 서브넷 생성 aws ec2 create-subnet –vpc-id vpc-03140520781c88fdd –cidr-block 100.100.1.0/24 –availability-zone ap-northeast-2a –tag-specifications "ResourceType=subnet,Tags=[{Key=Service,Value=DEV},{Key=Name,Value=DEV-Public-Subnet-a}]" 결과 : subnet-09dee03a175a68fd2 서브넷 퍼플릭IP 자동할당 aws ec2 modify-subnet-attribute –subnet-id subnet-09dee03a175a68fd2 –map-public-ip-on-launch 인터넷GW 생성 aws ec2 create-internet-gateway –tag-specifications "ResourceType=internet-gateway,Tags=[{Key=Service,Value=DEV},{Key=Name,Value=DEV-IGW}]" 결과 : …
실습 가이드 링크에서 가이드를 확인할 수 있습니다. EC2 VPC (Optional) 실습 과정을 응용하는 단계입니다. 기본 값은 기본 VPC(172.31.0.0/16)이지만, 기본 VPC를 사용하지 않을 경우에는 VPC를 새롭게 생성한 후 진행합니다. PROD-VPC20.0.0.0/16PROD-VPC…Public subnetPublic subnetEC2EC2VPC Peeringpcx-1VPC Peering…IneternetGatewayIneternet…Viewer does not support full SVG 1.1 VPC Perring은 Terraform으로 진행합니다. 그 이외의 리소스만 생성하세요. AWS CLI를 통한 VPC 생성(VPC ID를 기록해 둡니다) …
들어가기 전 개인 계정으로 다른 리전에서 링크 진행 시 문제가 발생하여, 해당 글을 작성합니다. 반드시 Workshop Guide를 참고하여 진행하길 바랍니다. 이 글은 가이드에서 부족한 부분만 추가하였습니다. IAM 역할 생성 SageMaker Studio 시작에 필요한 IAM 역할을 생성합니다. IAM 역할 생성 (사용 사례 – SageMaker) 권한 > 정책연결 > S3 검색 > AmazonS3FullAccess 선택 > 정책연결 두 …