[빅분기 7일차] Chap 02 - sec 01. 분석 방안 수립 (2)

 

12월 19일 공부 인증

 

12월 19일 목요일 공부 내용 요약

 

05. 데이터 분석 방안

 

1) 분석 방법론 : 데이터 분석을 효과적으로 수행하기 위해 분석 절차를 체계적으로 정리한 방법

· 체계화한 절차와 방법이 정리된 데이터 분석 방법론 수립이 필수

· 일정 품질 수준 이상의 산출물과 프로젝트의 성공 가능성 제시

 

(1) 분석 방법론의 구성요건

· 상세한 절차(Procedures)

· 방법(Methods)

· 도구와 기법(Tool & Technique)

· 템플릿과 산출물(Templates & Outputs)

· 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도

 

(2) 분석 방법론의 생성과정(선순환 과정)

· 형식화

· 체계화

· 내재화

 

2) 계층적 프로세스 모델 구성

(1) 최상위 계층 - 단계(Phase)

(2) 중간 계층 - 태스크(Task)

(3) 최하위 계층 - 스텝(Step)

 

3) 소프트웨어 개발 생명 주기 활용

설계(요구 명세) - 요구분석 - 설계 - 구현 - 시험 - 유지 보수

 

(1) 폭포수 모형 : 분석, 설계, 개발, 구현, 시험 및 유지 보수 과정을 순차적으로 접근하는 방법

(2) 프로토타입 모형 : 시스템의 일부분을 간략히 구현한 다음 다시 요구사항을 반영하는 과정을 반복하는 개발 모형

· 실험적 프로토타입

· 진화적 프로토타입

(3) 나선형 모형 : 나선을 돌면서 점진적으로 완벽한 시스템으로 개발하는 모형

· 계획 수립, 위험 분석, 개발, 고객평가

(4) 반복적 모형 : 요구사항, 제품의 일부분을 반복적으로 개발하여 최종 시스템으로 완성하는 모형

· 증분형 모형

· 진화형 모형

 

4) KDD 분석 방법론 (Knowledge Discovery in Database)

프로파일링 기술 기반의 데이터 마이닝 프로세스

데이터셋 선택 → 데이터 전처리 → 데이터 변환 → 데이터 마이닝 → 데이터 마이닝 결과 평가

 

5) CRISP-DM 분석 방법론 (Cross Industry Standard Process for data Mining)

· 4계층

- 최상위 레벨

- 일반화 태스크

- 세분화 태스크

- 프로세스 실행

· 분석 절차

업무 이해, 데이터 이해, 데이터 준비, 모델링, 평가, 전개

 

6) SEMMA 분석 방법론 (Sample, Explore, Modify, Model, Assess)

SAS Institute의 데이터 마이닝 도구와 손쉽게 접목하여 활용

 

06. 빅데이터 분석 방법론

응용 서비스 개발을 위한 3계층으로 구성

· 단계(Phase)

· 태스크(Task)

· 스텝(Step)

 

1) 개발 절차

분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개