Leo's Garage

데이터 & 분석 Athena S3에 저장된 데이터를 분석하는 서버리스 쿼리 서비스이다. 데이터를 분석하려면 표준 SQL 언어로 파일을 쿼리해야한다. 가격은 스캔된 데이터의 TB 당 고정 가격 지불 전체 서비스가 서버리스여서 DB를 프로비저닝 할 필요가 없다. Amazon Quicksight라는 서비스랑 주로 같이 사용한다. 주요 사용사례는 임시 쿼리 수행이나 분석, 보고, 로그 쿼리 분석, VPC 흐름, 로드밸런서 등등... 서버리스 SQL 분석 엔진에 대해 나오면 Athena를 떠올리면 된다. 성능향상 용량당 고정 비용이므로, 데이터를 적게 스캔할 유형의 데이터를 사용한다. colum 형 데이터를 스캔하면 필요한 열만 스캔하므로 비용을 절감할 수 있다. - Apache Parquet이나 ORC를 추천한..

AWS의 데이터베이스 올바른 데이터베이스 선택 워크로드에 맞는 올바른 데이터베이스를 써야 한다 . 무엇을 쓸 지는 문제가 어떤 아키텍쳐를 요구하는지에 따라 다르다. 쓰기가 많은지, 읽기가 많은 지, 처리량은 얼마나 되는지, 처리량은 급변하는지, 데이터는 얼마나 저장되고 확장은 가능하지 평균 객체 크기는 어떻고 엑세스 빈도와 방법은 무엇인지? 데이터 내구성이나 신뢰성은 어떻게 보장하는지 감사가 필요한 지 검색이 필요한 지 Database Types RDBMS(=SQL/OLTP):RDS, Aurora - great for joins NoSQL database - no joins, no SQL: DynamoDB(~JSON), ElastiCache(key/value pair), Neptune(grapths), ..

서버리스 솔루션 아키텍쳐 토론 모바일 어플리케이션 : To Do List 요구사항 - HTTPS endpoint가 있는 REST API가 노출되야 한다. - 서버리스 아키텍쳐 - 사용자가 원하면 스스로 데이터를 관리하도록 S3에 접근 가능하게 한다 - 사용자는 관리형 서버리스 서비스에 인증해한다. - 사용자는 읽고 쓸 수 있지만 대부분 읽는다. - 데이터베이스는 읽는 성능이 좋아야 한다. 클라이언트 ---- api gateway ---- Lamda ----- DynamoDB ㄴ---- Cognito ---- STS ㄴ---- S3 STS는 사용자 자격증명을 관리한다. 따라서 모바일 사용자가 자신의 폰에서 자격증명을 관리한다고 하면 틀린 설명이다. 읽기 처리량을 늘리고, 비용을 줄이려면 DAX를 서야한다...

솔루션 설계자 관점의 서버리스 개요 서버리스 소개 서버를 관리할 필요가 없다. 서버가 없는다는게 아니다. 그냥 함수를 배치하는 것이다. AWS Lambda가 시초였다. 서버를 프로비저닝하지 않는 것을 의미한다. Lambda 개요 람다는 가상의 함수다. 제한시간이 있긴 한데 15분이다. 온 디멘드로 실행되고 과금된다. (사용 안하면 돈 안나감) 스케일링이 자동이다. 청구가 편하다. - 요청과 처리 시간에 따라 과금 여러 언어를 쓸 수 있다. 함수 당 최대 10GB의 램을 프로비저닝할 수 있다. 그리고 램을 증가시키면, CPU와 네트워크도 향상된다. 지원 언어 : Node.js, python, java, c#, Golang, Ruby ... 람다 컨테이너 이미지 : 이미지 자체가 람다 런타임 API를 구현해..

AWS의 컨테이너: ECS, Fargate, ECR 및 EKS Docker 소개 도커 란 - 앱 ㅍ배포를 위한 소프트웨어 개발 플랫폼이다. 컨테이너는 표준화되어 있어서, 어느 운영체제에든 똑같이 돌아간다. 어떤 머신이든 호환성 문제가 없고 예측 가능하고 할 게 적고 운용하기 쉽고 어느 언어, 어느 운영체제, 어느 기술에도 돌아간다. 도커는 마이크로 서비스 아키텍쳐, lift and shift apps from on-premises to the AWS Cloud 도커 리포지토리 - 도커 이미지 저장 Docker Hub : Public repo Amazon ECR (Amazon Elastic Container Register) : Private repo Docker vs VM 도커도 가상화 기술이지만, 리소..

디커플링 어플리케이션 : SQS, SNS, Kinesis, Active.. 메시징 소개 앱을 여러개 배포 할 때, 서로 통신을 해야 한다. Sync Comm (app to app) 동기화 때문에 문제가 생길 수 있다. 한 앱에서 뭔가 stuck되거나 overflow되면 문제가 된다. SQS : queue model SNS : pub/sub model Kinesis : real-time streaming model 이런 경우, 앱을 서로 Decouple하는게 좋다. Async Comm / Event Based (app to Queue to app) Amazon SQS - 표준 Queues 개요 대기열에 메시지를 담는다. 생산자에서 메시지를 큐에 보내고, 큐에 메시지가 쌓인다. 생산자는 여러명일 수 있다. ..

AWS 스토리지 추가 기능 AWS Snow Fmaily 개요 Snow Family : 아주 안전한 휴대 기기 Data migration : Snowcone, Snowball Edge, Snowmobile Edge computing : Snowcone, snowvall Edge Data migration 대량의 데이터를 네트워크 라인으로 전송하려면 상당한 시간이 걸린다. 우리는 종종 AWS에 빠르게 데이터를 보내고 싶다. 그러면 생기는 문제는 Limited connectivity Limited bandwidth High netwotk cost Shared bandwidth Connection stability AWS Snow Family: offline devices to perform data migra..

Cloud Front 및 AWS 글로벌 엑셀러레이터 CloudFront 개요 CDN(Content Delivery Network)을 보면 CloudFront를 떠올리자 서로 다른 엣지 로케이션에 미리 컨텐츠를 케싱하여 읽기 성능을 높이는 기술이다. 우리의 컨텐츠가 네트워크 전체에 캐싱되므로 전세계 사용자들이 낮은 latency로 접근할 수 있다. Cloud Front는 216개의 엣지 로케이션을 통해 구성되어 있다. 또한 컨텐츠가 분산되어 있어서 DDOS 공격에도 보호를 받을 수 있다. CloudFront - Origins S3 bucket S3 버킷으로, CloudFront를 통해 파일을 분산하고 캐싱할 수 있게 한다. 버킷에는 OAC(Origin Access Control)을 통해 CloudFront..

아마존 S3 보안 Object Encryption 4가지 방법이 있다. Server Side Encryption (SSE) SSE-S3는 Amazon S3에서 관리하는 키를 이용한 서버 측 암호화 - Default SSE-KMS는 KMS 키를 이용해서 암호화 키를 관리함 SSE-C는 고객이 제공한 키를 사용하는 암호화 방법 Client-Side Encryption SSE-S3 AWS가 관리하고 처리한 키로 암호화하고 우리는 키에 접근할 수 없다. Encryption type : AWS-256 header는 "x-amz-server-side-encryption" : "AES256"으로 할당해야 한다. 기본값을 활성화되어 있다. 유저가 올릴 때 헤더에 저 값을 넣어서 올리면 AWS S3에서 암호화한다. SS..

고급 Amazon S3 S3 수명 주기 규칙 다른 스토리지 클래스 간에 객체를 옮기는 방법 각 클래스는 치환이 가능한 클래스가 존재한다. 예를 들어 자주 접근하지 않을 것 같은 Standard tier의 object는 Standard IA tier로 변경할 수 있고, 오래동안 아카이빙할 것 같은 object의 경우에는 Glacier 또는 Glacier Deep Archive로 변경할 수도 있다. 다만, 우리는 이걸 수작업으로 옮길 수도 있지만, Lifecycle Rule을 통해서 자동으로 옮길 수도 있다. Life Cycle Rules Trasition Actions 생성 후 60일이 지나면 Standard IA로 옮긴다. 생성 후 6개월이 지나면 Glacier로 옮긴다. Expiration Action..