12월 10일 월요일 공부 내용 요약
1. 데이터와 정보
1) 데이터 구분
- 정량적 데이터(Quantitative Data) : 주로 숫자로 구성
- 정성적 데이터(Qualitative Data) : 문자와 같은 텍스트로 구성
2) 데이터 유형
- 정형 데이터(Structured Data) : 정해진 형식과 구조로 구성된 데이터, 연산 가능 ex) 관계형 데이터 베이스의 테이블에 저장되는 데이터
- 반정형 데이터(Semi-structured Data) : 데이터 형식과 구조가 비교적 유연, 스키마 정보를 데이터와 함께 제공하는 파일 형식, 연산 불가능 ex) J SON, XML, RDF, HTML 등
- 비정형 데이터(Unstructured Data) : 구조가 정해지지 않은 대부분의 데이터, 연산 불가능 ex) 동영상, 이미지, 음성, 문서, 메일 등
3) 데이터의 근원에 따른 분류
- 가역 데이터 : 원본 데이터 변경 시 변경사항 반영 가능
- 불가역 데이터 : 원본 데이터 변경 시 변경사항 반영 불가능
4) 데이터의 기능
- 암묵지 : 외부에 표출되지 않으며 전달과 공유가 어려움
- 형식지 : 형상화된 지식으로 전달과 공유가 쉬움
5) 지식창조 메커니즘
- 공통화
- 표출화
- 연결화
- 내면화
6) 데이터, 정보, 지식, 지혜
- 데이터 : 관찰, 측정하여 수집한 사실이나 값, 그 의미가 중요하지 않은 객관적 사실
- 정보 : 데이터를 가공, 처리하여 분석하고 그 속에서 도출된 의미, 항상 유용하지는 않음
- 지식 : 개인적인 경험을 결합하여 내재화한 고유의 결과물
- 지혜 : 지식에 아이디어를 결합하여 도출한 창의적 산물
2. 데이터베이스
1) 데이터베이스 특징
- 통합된 데이터(Integrated Data) : 중복되어 저장되지 않음
- 저장된 데이터(Stored Data) : 컴퓨터가 접근할 수 있는 매체에 데이터 저장
- 공용 데이터(Shared Data) : 여러 사용자가 서로 다른 목적으로 데이터를 함께 이용
- 변화되는 데이터(Changed Data) : 데이터는 현시점 상태를 나타내고 지속적으로 갱신
2) 데이터베이스 활용
- OLTP(OnLine Transaction Processing) : 호스트 컴퓨터와 온라인으로 접속된 여러 단말 간 처리 형태의 하나로 데이터베이스의 데이터를 수시로 갱신하는 프로세싱 의미
- OLAP(OnLine Analytical Processing) : 정보 위주의 분석 처리, OLTP에서 처리된 트랜잭션 데이터를 분석 프로세싱 하는 것
- OLTP는 데이터 갱신 위주, OLAP는 데이터 조회 위주
3) 데이터 웨어하우스 (DW : Data Warehouse) : 사용자 의사결정에 도움을 주기 위해 데이터를 공통 형식으로 변환해서 관리하는 데이터베이스
- 주제지향성 : 중요 주제 중심으로 주제와 관련된 데이터로 구성
- 통합성 : 데이터가 입력될 때 일관된 형태로 변환, 전사적인 관점에서 통합
- 시계열성 : 데이터는 일정 기간 동안 시점별로 이어짐
- 비휘발성 : 데이터가 적재되면 일괄 처리 작업에 의한 갱신 외에는 변경이 수행되지 않음
4) 데이터 웨어하우스 구성
데이터 모델 → ETL, ODS → DW → OLAP, 데이터마이닝, 분석 도구, 경영기반 솔루션
3. 빅데이터 개요
1) 빅데이터의 등장으로 인한 변화
- 데이터 처리 시점 : 사전 처리 → 사후 처리
- 데이터 처리 범주 : 표본조사 → 전수조사
- 데이터 가치 판단 : 질 → 양
- 데이터 분석 방향 : 인과관계 → 상관관계
2) 빅데이터 특징
가트너의 3V
- 규모 (Volume)
- 유형 (Variety)
- 속도 (Velocity)
+2V
- 품질 (Veracity)
- 가치 (Value)
3) 빅데이터 활용 3요소
- 자원 : 빅데이터
- 기술 : 빅데이터 플랫폼, AI
- 인력 : 알고리즈미스트, 데이터 사이언티스트
'[Study] > [빅분기-필기]' 카테고리의 다른 글
[빅분기 5일차] Chap 01 - sec 02. 빅데이터 기술 및 제도 (3) (6) | 2024.12.14 |
---|---|
[빅분기 4일차] Chap 01 - sec 02. 빅데이터 기술 및 제도 (2) (8) | 2024.12.14 |
[빅분기 3일차] Chap 01 - sec 02. 빅데이터 기술 및 제도 (1) (11) | 2024.12.14 |
[빅분기 2일차] Chap01 - sec 01. 빅데이터 개요 및 활용 (2) (8) | 2024.12.13 |
2025년 빅데이터분석기사 시험 일정 (시험 응시료, 시험 정보, 문제집 정보) (8) | 2024.12.13 |