Leo's Garage

기타 서비스 CloudFormation 소개 CloudFormation is a declarative way of outlining your AWS Infrastructure, for any resources (most of them are supported). 예를 들어서 CloudFormation Template 안에다가 보안 그룹이 필요해 이 보안 그룹을 사용하는 EC2 instance 2개가 필요해 S3 버킷이 필요해 ELB가 내 머신 앞에 있으면 좋겠어 CloudFormation은 이 모든 걸 여러분이 정한 순서와 구성 그래도 생성한다. Benefits of AWS CloudFormation Infastructure as code 매뉴얼로 조작할 필요없음 인프라 변경 시 코드 리뷰 Cost 아마..

더 많은 솔루션 아키텍쳐 AWS의 이벤트 처리 Lambda, SNS & SQS AWS에서 이벤트 처리에 대해서 SQS + Lambda SQS에서 큐를 채우고 Lambda가 메시지를 polling하는데 만약에 문제가 발생하면, 해당 메시지를 다시 SQS 큐에 입력하고 polling을 다시 시도한다. 이러던 중 한 메시지에서 중대한 문제가 발생하여, 다섯 번의 재시도 후에는 DLQ(Dead Letter Queue)로 보내도록 SQS를 설정할 수 있다. SQS FIFO + Lambda 순서대로 처리하기 때문에 하나라도 문제가 생기면, 차단이 발생하여 처리가 끝나지 않고 결국 전체 대기열 처리가 차단된다. 이 경우에도 DLQ로 해당 메시지를 빼고 함수가 동작하게 할 수 있다. SNS + Lambda 메시지가 통..

재해 복구 및 마이그레이션 AWS의 재해 복구 재해복구는 중요하다. Any event that has a negative impact on a company's business continuity or finances is a disaster Disaster Recovery(DR)은 이러한 재해를 준비하고 복구하는 작업을 의미한다. What kind of disaster recovery On-premise -> On-premise : traditional DR, and very expensive On-premise -> AWS Cloud : hybrid recovery AWS Cloud Region A -> AWS Cloud Region B RPO : Recovery Point Objective - 복구..

Networking - VPC 세션 소개 지금까지 강의 기초가 되는 강의이다. CIDR, 비공개 밒 공개 IP Understanding CIDR - IPv4 CIDR(Classless Inter-Domain Routing) - a method for allocating IP addresses IP 주소를 할당하는 방법 단순한 IP 범위를 정의하는데 도움을 준다. WW.XX.YY.ZZ/32 : one IP 0.0.0.0/0 : all IPs 19.168.0.0/26 => 192.168.0.0 ~ 192.168.0.63 (64 IP addresses) CIDR은 2개로 구성되어 있다. Base IP Represents an IP contained in the range Ex. 10.0.0.0, 192.168..

AWS 보안 및 암호화 : KMS, SSM Parameter Store, CloudHSM, Sheild, WAF 암호화 101 암호화 매커니즘 Encryption in flight (SSL) 전송 중 암호화, 패킷을 암호화한다. 신용카드 정보 등 전송 전 암호화하고, 서버가 복호화해준다. 중간자 공격으로부터 안전하다. 인증서가 유효하고, HTTPS endpoint가 있다면 안전하다. Server side encryption at rest 데이터가 서버에 수신된 후 암호화하는 것 서버에서 데이터를 저장할 때, 암호화해서 저장한다. 만약에 서버가 해킹당하더라도, 내부 내용이 안전하다. 클라이언트에 전송되기 전에는 복호화한다. 데이터 키라고하는 것 덕분에 데이터는 암호화된 형태로 저장된다. 암호화/복호화 키는..

Identity and Access Management(IAM) - 고급 AWS Organizations 개요 글로벌 서비스 다수의 AWS 계정을 관리 메인 계징이 관리 계정이 된다. 다른 계정은 맴버 계정이 된다. 멤버 계정은 한 조직에만 속한다. 모든 계정의 비용을 통합할 수 있다. 모든 계정에 집계된 사용량에 기반한 할인을 받을 수 있다. 계정간 예약 인스턴스와 Saving Plans 할인이 공유된다. 누군가 예약 인스턴스를 사용하지 않을 경우, 다른 계정에서 그걸 사용할 수 있다. 할인이 조직 전체에 걸쳐 적용되므로 비용절감에 도움을 줄 수 있다. Organization 내에 계정 생성을 자동화할 수 있는 API가 있다. Root Organizational Unit(OU) 전체 계정 외곽에 있는 ..

AWS 모니터링 및 감사: CloudWatch, CloudTrail 및 Config AWS 모니터링 - 섹션 소개 모니터링은 굉장히 중요하다. CloudWatch 모든 서비스에 대한 지표를 제공한다. metric is a variable to monitor Metric belong to namespace 지표 당 최대 측정 수는 10개 메트릭은 타임스템프를 가진다. cloudWatch custom metric도 가능하다. cloudWatch Metric Streams 원하는 대상으로 지속적으로 스트리밍 가능, 거의 실시간으로 전송되고 지연시간도 짧아진다. cloudwatch metric --- kinesis data firehose --- S3 --- Athena ㄴ 거의 실시간 필터로 메트릭을 적용할 ..

머신러닝 Rekognition 개요 사람, 객체, 테스트, 장면을 찾는 서비스 - 이미지나 비디오에서 얼굴 분석, 얼굴 검색 콘테츠 조정 기능: 불쾌감을 주는 콘텐츠 검색 - 인종차별적 이미지 등등 각 아이템 별로 최소 컨피던스 임계값을 지정한다. 낮을 수록 매칭되는 이미지가 많아진다. Transcribe 개요 음성을 테스트로 자동으로 변환해준다. 딥러닝 프로세스 ASR(Automatic speech recognition) PII (Personally Identifiable Information) - 개인 식별 정보를 자동으로 제거할 수 있다. 다국어 오디오를 자동으로 언어 식별할 수 있다. Polly 개요 Transcribe의 반대이다. 텍스트를 음성으로 바꿔준다. 어휘 목록과 SSML(Synthesi..

데이터 & 분석 Athena S3에 저장된 데이터를 분석하는 서버리스 쿼리 서비스이다. 데이터를 분석하려면 표준 SQL 언어로 파일을 쿼리해야한다. 가격은 스캔된 데이터의 TB 당 고정 가격 지불 전체 서비스가 서버리스여서 DB를 프로비저닝 할 필요가 없다. Amazon Quicksight라는 서비스랑 주로 같이 사용한다. 주요 사용사례는 임시 쿼리 수행이나 분석, 보고, 로그 쿼리 분석, VPC 흐름, 로드밸런서 등등... 서버리스 SQL 분석 엔진에 대해 나오면 Athena를 떠올리면 된다. 성능향상 용량당 고정 비용이므로, 데이터를 적게 스캔할 유형의 데이터를 사용한다. colum 형 데이터를 스캔하면 필요한 열만 스캔하므로 비용을 절감할 수 있다. - Apache Parquet이나 ORC를 추천한..

AWS의 데이터베이스 올바른 데이터베이스 선택 워크로드에 맞는 올바른 데이터베이스를 써야 한다 . 무엇을 쓸 지는 문제가 어떤 아키텍쳐를 요구하는지에 따라 다르다. 쓰기가 많은지, 읽기가 많은 지, 처리량은 얼마나 되는지, 처리량은 급변하는지, 데이터는 얼마나 저장되고 확장은 가능하지 평균 객체 크기는 어떻고 엑세스 빈도와 방법은 무엇인지? 데이터 내구성이나 신뢰성은 어떻게 보장하는지 감사가 필요한 지 검색이 필요한 지 Database Types RDBMS(=SQL/OLTP):RDS, Aurora - great for joins NoSQL database - no joins, no SQL: DynamoDB(~JSON), ElastiCache(key/value pair), Neptune(grapths), ..