AI학교

ETL(Extract, Transform, Load ETL) 본문

빅데이터

ETL(Extract, Transform, Load ETL)

ai-world.tistory.com 2020. 7. 1. 18:12

 

 

 

정의

 

 - 조직 내외부의 여러 소스들로부터 Data를 Data Warehouse, Data Mart(Data 분석을 위해 사용)로 이동시키는 과정

 - 추출, 재구성, 정제, 통합, 변형 등을 포함한다.

 

 

 

 

 

추출 (Extract)

 

 - 동일 기종 또는 타기종의 데이터 소스로부터 데이터를 추출한다

 - 추출방법 : JDBC, ODBC, 독자 code, flat file, CDC

 

 

 

 

 

 

 

변환 (Transform)

 

 - 조회 또는 분석을 목적으로 적절한 포맷이나 구조로 데이터를 저장하기 위해 데이터를 변환한다.

 - 변형방법 : 대부분 ETL operation은 중복을 제거하고 일관성을 확보하기 위한 정제를 포함한다.

                 target repository에 적합한 형태로 내용을 일관되게 변환시키기 위해 각 data field를 검사하고 rule

 

 

 

 

적재 ( Load ETL)

 

 - 최종대상(데이터 베이스, 운영 데이터 스토어, 데이터 마트, 웨어하우스)으로 변환 데이터를 적재한다.

 

 

 

 

 

 

 

 

 

참조 : https://itholic.github.io/etl

'빅데이터' 카테고리의 다른 글

메타데이터  (0) 2020.07.01
데이터마트  (0) 2020.07.01
Comments