티스토리 뷰
데이터 사이언스의 발전 배경
Technology,Hardware, infra 관점
volume(크기) - 방대한 양의 데이터
velocity(속도) - 일반 처리 및 실시간 처리
variety(다양성) - 정형, 비정형, 빈정형데이터
Business,software,Analytics 관점
veracity(진실성) - 데이터 품질 및 신뢰성 확보
value(가치) - 궁극적 비즈니스 가치 창출
visualization(시각화) - 복잡한 결과의 시각화 표현
데이터 분석의 현재
내부 데이터의 한정적 활용 환경 -> 대용량 데이터의 분석 환경 -> 고차원 데이터 분석 환경(현재)
내외부/비정형(이미지) 데이터 확용
데이터 사이언티스트 정의
빅데이터를 가공 및 분석하여 새로운 가치를 창출하는 자
Citizen Data Scientist
특정 도메인 내 빅데이터를 활용하여 본인의 비즈니스 영역 결과를 개선하는 자
협업에서의 업무 단계
| Project initiation 과제 수행 준비 |
Data Preparation 데이터 준비 |
Data Analytics 데이터 분석 |
OutPut 분석 결과 정보화 |
Knowldge 자산화 |
|
| Role | 방향성 제시 커뮤니케이션/협의 |
활용 데이터 검토 데이터 전처리 |
탐색적 데이터 분석 분석 모델링 |
인사이트 도출 결과의 통역/전개 |
응용/설계/운영화 |
| Activity | 주제 정립 업무 Scope 정의 등 |
데이터 정의 데이터 정제/변형 등 |
탐색적 데이터 분석 통계/ML/DL 분석 등 |
분석 결과 해석 활용 방안 제시 |
자동화 설계 운영 방안 도출 |
| Technic | Analytic Knowledge Leader Ship |
computer Science Data Manipulation |
Mathmatics Statistics Data Mining |
Visualization Presentation Application |
Domain Knowledge Marketing Knowledge |
상세 분석 프로세스
Pre Initiation
프로젝트 수행 준비
>현업 AS-IS 현황파악
>핵심 카테고리 도출
요구사항 수집
Access Situation
> 핵심 카테고리 선정 및 Key 이슈 도출
> 담당부서 인터뷰 기반 요구사항 수집 및 분석
AS-IS 분석
현황 및 요건 정의
> 검토 영역 선정
> 현황/요건별 데이터 레벨 매핑 등 수행
> 분석 관점의 수행 타당성/가능성 진단
TO-BE 도출
분석 과제 도출
> 주요 이슈 기반 Pain 및 개선 Point 도출
> 각 Point별 분석 주제 제안 및 주제별 수행 요견/방향성 정의
분석 대상 데이터 수집/처리
데이터 정의
>주제별 대상 데이터 정의
>데이터 품질 체크
>데이터 정제 및 전처리 수행
탐색적 데이터 분석
데이터 탐색
>주제별 EDA 수행
>유의미한 인사이트 도출 및 정리
고급 데이터 분석
분석 모델 개발
>최종 Target 모델 개발
>모델 검토 및 정합성 검증
시각화
>분석 결과 시각화
성능 개선을 위해 Feedback Loop로 다시 분석 대상 데이터 수집 및 처리
결과 기반 활용 방안 제안
결과 보고
>분석 결과 최종 보고
>관련 부서 대상 Analyics
>관점 내 활용 방안 제안
데이터 사이언스에서 중점으로 두는 것
| Data Preparation 데이터 준비 |
Data Analytics 데이터 분석 |
OutPut 분석 결과 정보화 |
| 활용 데이터 검토 데이터 전처리 |
탐색적 데이터 분석 분석 모델링 |
인사이트 도출 결과의 통역/전개 |
| 데이터 정의 데이터 정제/변형 등 |
탐색적 데이터 분석 통계/ML/DL 분석 등 |
분석 결과 해석 활용 방안 제시 |
| 데이터 정제 데이터 변환 |
일변량/ 다변량 탐색 시계열 분석 |
정적 시각화 동적 시각화 |