0. 목표 SAM 활용하여 CANedge 데이터 전처리 과정 자동화 (최종 목표) SAM 구성 시행착오 소개(Build 실패, Event 변경 등) 1. SAM 구성 (1단계) [AWS] SAM(Serverless Application Model) 4번을 참고하여 SAM 구성을 시작합니다. 코드는 앞서 진행하였던 [AWS] CANedge 데이터 분석 Part 1 을 참고합니다. 1.1 폴더 구성 .aws-sam 폴더는 Build 후 생성됩니다. 무시하셔도 좋습니다. [AWS] SAM(Serverless …
AWS
AWS
0. 목표 CANedge 데이터 전처리 과정 살펴보기 (with SageMaker) 데이터 분석에서 많이 사용하는 Pandas 라이브러리 맛보기 1. 준비 1.1 Git Clone 링크를 눌러 CSS-Electronics/api-examples Github에 들어갑니다. Git clone으로 CANedge 데이터 처리를 따라해볼 수 있는 자료를 다운받습니다. 본 과정은 SageMaker에서 진행하여서 git clone 명령어 앞에 ! (느낌표)가 있습니다. !git clone https://github.com/CSS-Electronics/api-examples 아래 사진처럼 회색 네모 박스(Cell)에 …
1. SAM 설치 1.1 SAM CLI 설치파일 다운로드 AWS SAM CLI 64-bit 를 눌러 다운받습니다. https://github.com/aws/aws-sam-cli/releases/latest/download/AWS_SAM_CLI_64_PY3.msi 1.2 설치파일 실행 AWS_SAM_CLI_64_PY3.msi를 실행하여 설치합니다. 1.3 설치 확인 Terminal을 열어 설치를 확인합니다. sam –version 설치를 성공하면 아래와 비슷한 결과가 나옵니다. SAM CLI, version 1.23.0 1.4 Docker 설치 여기를 눌러 Docker 설치 페이지로 이동합니다. Docker Desktop for Windows를 눌러 …
0. 사전 준비 서버는 WSL2 ubuntu 20.04, 호스트는 CentOS 7 기준으로 작성하였습니다. AWS Cli v2 (API 호출하여 EBS 변경 상태가 완료인지 확인) jmespath (API 호출하였을 때 응답 값 Parse) 0.1 AWS Cli v2 설치 최신 AWS Cli v2를 설치합니다. curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" unzip awscliv2.zip sudo ./aws/install AWS credentials을 추가합니다. sudo aws configure 리전을 포함하여 …
0. 참고 [AWS] X-Ray 첫걸음 AWS X-Ray SDK for Java – AWS X-Ray (amazon.com) AWS X-Ray sample application – AWS X-Ray (amazon.com) 1. 구현 AWS X-Ray는 개발자가 마이크로서비스 아키텍처를 사용해 구축된 애플리케이션과 같은 어플리케이션을 분석하고 디버그에 사용하는 서비스입니다. X-Ray SDK를 어플리케이션에 통합하고 X-Ray 에이전트를 설치하기만 하면 됩니다. 1.1 Dependency 이 예제는 Maven과 tomcat을 사용합니다. SDK를 …
1. Server 서버는 ap-southeast-1(singapore)에서 t3a.nano, ubuntu 20.04 이미지로 생성하였습니다. X-Ray에 필요한 서버 1대를 생성합니다. 생성한 서버에 SSH로 접속합니다. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by applicable law. To run a command as administrator (user “root”), use “sudo <command>”. See “man sudo_root” for details. ubuntu@ip-172-31-18-253:~$ EC2 서버에 Instance Profile을 추가하여 X-Ray 서비스 …
목표 : 시스템에서 발생되는 각종 Log 데이터를 매일 AWS S3에 자동으로 백업
적용 기술 : AWS S3, Logrotate, Crontab, Shell Script
1. 볼륨 추가 AWS Console에서 볼륨을 생성, EC2 서버에 연결이 필요합니다. 1.1 볼륨 추가 lsblk 명령어로 사용 가능한 장치가 있는지 확인합니다. 현재 2개의 장치(nvme1n1, nvme2n1)가 추가 사용 가능합니다. [centos@ip-172-31-41-26 ~]$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT nvme0n1 259:2 0 8G 0 disk └─nvme0n1p1 259:3 0 8G 0 part / nvme1n1 259:0 0 4G …
1. Syslog Query Cloudwatch Insight에서 Query하여 Log stream을 분석할 수 있습니다. 간단한 Query 구문을 분석해봅니다. PARSE @message "* * * * *: *" as a, b, c, Hosts, Service, States | fields concat(a, ‘ ‘, b, ‘ ‘, c) as Dates | display Dates, Hosts, Service, States | limit 5 메세지 예시를 통해 Query를 가볍게 …
To mount with “NFS client” manually sudo mount -t nfs4 -o defaults,_netdev [fs-XXXXXXXX].efs.[REGION].amazonaws.com:/ /path/to/mount/dir 2. To mount with “NFS client” automatically [fs-XXXXXXXX].efs.[REGION].amazonaws.com:/ /path/to/mount/dir nfs4 defaults,_netdev 0 0