일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 블록체인
- 비트코인
- backtest
- 백트레이더
- AUTOSAR
- 파이썬
- 백테스트
- AWS
- 오토사
- 자동매매
- toefl writing
- 토플 라이팅
- probability
- 암호화폐
- 퀀트
- backtrader
- 클라우드
- 아마존 웹 서비스
- 개발자
- can
- 프로그래밍
- TOEFL
- 자동차sw
- Cloud
- it
- GeorgiaTech
- 확률
- Bitcoin
- python
- 토플
- Today
- Total
목록Data Engineering (2)
Leo's Garage
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/EDZYe/btsFRaHY0rE/PNk0aOJAQ6YEDCdCYHqIRk/img.png)
Databases Relational databases Define relationships between tables of data inside the database Tables rows = records, columns = fields Combined Data Schema Introducing queries 아주 큰 Datasets에 적합하다. SELECT FROM SELECT name FROM patrons; patrons 테이블에서 name 필드에 해당하는 값을 가져와 SELECT card_num, name FROM patrons; patrons 테이블에서 card_num과 name 필드에 있는 값을 가져와 Writing queries Aliasing rename columns SELECT na..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/cbzlWP/btsFP1ZETLN/HOzaZDdk8KiQpkAzHI2BDk/img.png)
Data Workflow Data Collection & Storage → Data Preparation → Exploration & Visualization → Experimentation & Prediction Data engineer는 Data Collection & Storage와 연관되어 있다. Data Engineer는 the correct data in the right form to the right people as efficiently as possible A data engineer’s responsibilities Ingest data from different sources Optimize databases for analysis Remove corrupted data Develo..