일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- 저장소
- branch
- gitignore
- db
- 가중치
- r
- tensorflow
- git
- AI
- Python
- Spring
- Session
- imshow
- Linux
- 이미지
- model
- datascience
- Java
- 머신러닝
- Repository
- 파이썬
- data
- CLONE
- Anaconda
- list
- destroyallwindows
- imread
- Vector
- opencv
- 함수
- Today
- Total
목록빅데이터 (3)
AI학교
정의 - 조직 내외부의 여러 소스들로부터 Data를 Data Warehouse, Data Mart(Data 분석을 위해 사용)로 이동시키는 과정 - 추출, 재구성, 정제, 통합, 변형 등을 포함한다. 추출 (Extract) - 동일 기종 또는 타기종의 데이터 소스로부터 데이터를 추출한다 - 추출방법 : JDBC, ODBC, 독자 code, flat file, CDC 변환 (Transform) - 조회 또는 분석을 목적으로 적절한 포맷이나 구조로 데이터를 저장하기 위해 데이터를 변환한다. - 변형방법 : 대부분 ETL operation은 중복을 제거하고 일관성을 확보하기 위한 정제를 포함한다. target repository에 적합한 형태로 내용을 일관되게 변환시키기 위해 각 data field를 검사하고..
정의 - 데이터에 대한 데이터 = 어떤 목적을 가지고 만들어진 데이터인지 설명하는 것이다. - 데이터에 관한 구조화된 데이터로, 다른 데이터를 설명해주는 데이터이다. - 어떤 구조화된 정보를 분석하고 부가 정보를 추가하기 위해 첨부되는 정보이다. - 효과적인 정보 사용에 도움을 주도록하는 설명적 요소를 말한다. - 데이터 분석에 단서(구조/ 요소 정보 등)를 제공한다. - DW 분석의 원천이 되는 활용가치 있는 데이터 예시 - 카드목록 : 가나다순, 저자명 순, 서명순 - 데이터베이스, 데이터웨어하우스 : 최종사용자가 데이터베이스 정보인 위치나 접근방법을 이해하는데 도움을 주는 정보) - 하드디스크 : 디스크 볼륨 내 파일시스템 포멧(파일, 디렉토리 위치 정보)를 설명하는 데이터 - MPEG 다중화 : ..
정의 데이터 웨어하우스와 사용자 사이의 중간층에 위치한 것으로 데이터 분석을 위한 상세한 데이터 정보와 분석된 Data-set은 Data Mart에 주제별로 정리되어 있다. 필요성 - 많은 비용과 리스크가 동반되는 Data Warehouse 이전 단계로 사용 - DW의 축적된 데이터는 풍부하지만 정보는 빈약 - 다차원 정보 제공 목적 - 사용자 집단의 Query 내용 및 범위, 패턴 예측 - 목적에 맞는 데이터 재조직과 자료구조 - 빠른 질의 응답 - 사용자 질의에 대한 빠른 응답 속도 활용 방법 - 상용 분석 도구와 R 모두, 간단히 표준화된 방식으로 분석용 데이터 마트 구축 자동화 방법 제공 장점 - 작업시간 단축 및 정확성 제고로업무 효율성 향상