일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 자동차sw
- python
- it
- 토플 라이팅
- 퀀트
- GeorgiaTech
- 프로그래밍
- 자동매매
- backtrader
- 블록체인
- 개발자
- backtest
- 파이썬
- AUTOSAR
- 백트레이더
- toefl writing
- Bitcoin
- 암호화폐
- AWS
- 토플
- 클라우드
- 비트코인
- 백테스트
- 확률
- can
- 오토사
- Cloud
- TOEFL
- 아마존 웹 서비스
- probability
- Today
- Total
목록분류 전체보기 (675)
Leo's Garage
재해 복구 및 마이그레이션 AWS의 재해 복구 재해복구는 중요하다. Any event that has a negative impact on a company's business continuity or finances is a disaster Disaster Recovery(DR)은 이러한 재해를 준비하고 복구하는 작업을 의미한다. What kind of disaster recovery On-premise -> On-premise : traditional DR, and very expensive On-premise -> AWS Cloud : hybrid recovery AWS Cloud Region A -> AWS Cloud Region B RPO : Recovery Point Objective - 복구..
Networking - VPC 세션 소개 지금까지 강의 기초가 되는 강의이다. CIDR, 비공개 밒 공개 IP Understanding CIDR - IPv4 CIDR(Classless Inter-Domain Routing) - a method for allocating IP addresses IP 주소를 할당하는 방법 단순한 IP 범위를 정의하는데 도움을 준다. WW.XX.YY.ZZ/32 : one IP 0.0.0.0/0 : all IPs 19.168.0.0/26 => 192.168.0.0 ~ 192.168.0.63 (64 IP addresses) CIDR은 2개로 구성되어 있다. Base IP Represents an IP contained in the range Ex. 10.0.0.0, 192.168..
AWS 보안 및 암호화 : KMS, SSM Parameter Store, CloudHSM, Sheild, WAF 암호화 101 암호화 매커니즘 Encryption in flight (SSL) 전송 중 암호화, 패킷을 암호화한다. 신용카드 정보 등 전송 전 암호화하고, 서버가 복호화해준다. 중간자 공격으로부터 안전하다. 인증서가 유효하고, HTTPS endpoint가 있다면 안전하다. Server side encryption at rest 데이터가 서버에 수신된 후 암호화하는 것 서버에서 데이터를 저장할 때, 암호화해서 저장한다. 만약에 서버가 해킹당하더라도, 내부 내용이 안전하다. 클라이언트에 전송되기 전에는 복호화한다. 데이터 키라고하는 것 덕분에 데이터는 암호화된 형태로 저장된다. 암호화/복호화 키는..
Identity and Access Management(IAM) - 고급 AWS Organizations 개요 글로벌 서비스 다수의 AWS 계정을 관리 메인 계징이 관리 계정이 된다. 다른 계정은 맴버 계정이 된다. 멤버 계정은 한 조직에만 속한다. 모든 계정의 비용을 통합할 수 있다. 모든 계정에 집계된 사용량에 기반한 할인을 받을 수 있다. 계정간 예약 인스턴스와 Saving Plans 할인이 공유된다. 누군가 예약 인스턴스를 사용하지 않을 경우, 다른 계정에서 그걸 사용할 수 있다. 할인이 조직 전체에 걸쳐 적용되므로 비용절감에 도움을 줄 수 있다. Organization 내에 계정 생성을 자동화할 수 있는 API가 있다. Root Organizational Unit(OU) 전체 계정 외곽에 있는 ..
AWS 모니터링 및 감사: CloudWatch, CloudTrail 및 Config AWS 모니터링 - 섹션 소개 모니터링은 굉장히 중요하다. CloudWatch 모든 서비스에 대한 지표를 제공한다. metric is a variable to monitor Metric belong to namespace 지표 당 최대 측정 수는 10개 메트릭은 타임스템프를 가진다. cloudWatch custom metric도 가능하다. cloudWatch Metric Streams 원하는 대상으로 지속적으로 스트리밍 가능, 거의 실시간으로 전송되고 지연시간도 짧아진다. cloudwatch metric --- kinesis data firehose --- S3 --- Athena ㄴ 거의 실시간 필터로 메트릭을 적용할 ..
머신러닝 Rekognition 개요 사람, 객체, 테스트, 장면을 찾는 서비스 - 이미지나 비디오에서 얼굴 분석, 얼굴 검색 콘테츠 조정 기능: 불쾌감을 주는 콘텐츠 검색 - 인종차별적 이미지 등등 각 아이템 별로 최소 컨피던스 임계값을 지정한다. 낮을 수록 매칭되는 이미지가 많아진다. Transcribe 개요 음성을 테스트로 자동으로 변환해준다. 딥러닝 프로세스 ASR(Automatic speech recognition) PII (Personally Identifiable Information) - 개인 식별 정보를 자동으로 제거할 수 있다. 다국어 오디오를 자동으로 언어 식별할 수 있다. Polly 개요 Transcribe의 반대이다. 텍스트를 음성으로 바꿔준다. 어휘 목록과 SSML(Synthesi..
데이터 & 분석 Athena S3에 저장된 데이터를 분석하는 서버리스 쿼리 서비스이다. 데이터를 분석하려면 표준 SQL 언어로 파일을 쿼리해야한다. 가격은 스캔된 데이터의 TB 당 고정 가격 지불 전체 서비스가 서버리스여서 DB를 프로비저닝 할 필요가 없다. Amazon Quicksight라는 서비스랑 주로 같이 사용한다. 주요 사용사례는 임시 쿼리 수행이나 분석, 보고, 로그 쿼리 분석, VPC 흐름, 로드밸런서 등등... 서버리스 SQL 분석 엔진에 대해 나오면 Athena를 떠올리면 된다. 성능향상 용량당 고정 비용이므로, 데이터를 적게 스캔할 유형의 데이터를 사용한다. colum 형 데이터를 스캔하면 필요한 열만 스캔하므로 비용을 절감할 수 있다. - Apache Parquet이나 ORC를 추천한..
AWS의 데이터베이스 올바른 데이터베이스 선택 워크로드에 맞는 올바른 데이터베이스를 써야 한다 . 무엇을 쓸 지는 문제가 어떤 아키텍쳐를 요구하는지에 따라 다르다. 쓰기가 많은지, 읽기가 많은 지, 처리량은 얼마나 되는지, 처리량은 급변하는지, 데이터는 얼마나 저장되고 확장은 가능하지 평균 객체 크기는 어떻고 엑세스 빈도와 방법은 무엇인지? 데이터 내구성이나 신뢰성은 어떻게 보장하는지 감사가 필요한 지 검색이 필요한 지 Database Types RDBMS(=SQL/OLTP):RDS, Aurora - great for joins NoSQL database - no joins, no SQL: DynamoDB(~JSON), ElastiCache(key/value pair), Neptune(grapths), ..
서버리스 솔루션 아키텍쳐 토론 모바일 어플리케이션 : To Do List 요구사항 - HTTPS endpoint가 있는 REST API가 노출되야 한다. - 서버리스 아키텍쳐 - 사용자가 원하면 스스로 데이터를 관리하도록 S3에 접근 가능하게 한다 - 사용자는 관리형 서버리스 서비스에 인증해한다. - 사용자는 읽고 쓸 수 있지만 대부분 읽는다. - 데이터베이스는 읽는 성능이 좋아야 한다. 클라이언트 ---- api gateway ---- Lamda ----- DynamoDB ㄴ---- Cognito ---- STS ㄴ---- S3 STS는 사용자 자격증명을 관리한다. 따라서 모바일 사용자가 자신의 폰에서 자격증명을 관리한다고 하면 틀린 설명이다. 읽기 처리량을 늘리고, 비용을 줄이려면 DAX를 서야한다...
솔루션 설계자 관점의 서버리스 개요 서버리스 소개 서버를 관리할 필요가 없다. 서버가 없는다는게 아니다. 그냥 함수를 배치하는 것이다. AWS Lambda가 시초였다. 서버를 프로비저닝하지 않는 것을 의미한다. Lambda 개요 람다는 가상의 함수다. 제한시간이 있긴 한데 15분이다. 온 디멘드로 실행되고 과금된다. (사용 안하면 돈 안나감) 스케일링이 자동이다. 청구가 편하다. - 요청과 처리 시간에 따라 과금 여러 언어를 쓸 수 있다. 함수 당 최대 10GB의 램을 프로비저닝할 수 있다. 그리고 램을 증가시키면, CPU와 네트워크도 향상된다. 지원 언어 : Node.js, python, java, c#, Golang, Ruby ... 람다 컨테이너 이미지 : 이미지 자체가 람다 런타임 API를 구현해..