[빅데이터의 이해와활용] 빅데이터의 개요1

 

빅데이터 시대

빅데이터 Big Data

크고 다양한 형태를 가지고, 빠르게 생산/유통/소비되는 데이터

빅데이터로부터 통찰을 얻는다

 

빅데이터의 이해

⮕ SNS 데이터, 검색 데이터, 뉴스데이터, 동영상, 사진, 위치 데이터 등

 

DIKW 피라미드

데이터 - 정보 - 지식 - 지혜

 

데이터는 데이터, 정보, 지식을 모두 포함한다 

 

데이터의 구분

1. 형태 : 정형, 비정형

2. 보안 : 비밀, 민감, 일반

3. 개인정보 : 식별, 비식별

4. 개인 / 비개인 : 개인, 비개인(비식별, 기계)

 

가트넌의 하이프사이클

 

 

---

빅데이터의 확산 배경

빅데이터의 확산 배경 개요

1. 스마트기기 - 모바일 스마트 기기와 센서의 확산

2. 인프라 - 빅데이터를 저장, 처리할 수 있는 하드웨어 인프라와 통신의 빠른 발전

3. 소프트웨어 - 소프트웨어의 빠른 발전

 

앤드류 응 Andrew Ng 교수 : 빅데이터 기반 인공지능은 20세기 산업발전의 전기 역할

---

빅데이터의 정의

빅데이터

- 새로 생긴 데이터를 저장, 분석, 처리, 활용하는 하드웨어

- 소프트웨어 기술이 바뀌면서 생긴 용어

 

빅데이터의 속성 3V

- 3V : Volume, Variety, Velocity

- 5V :  3V + Veracity, Value

 

규모 Volume

- 빅데이터로부터 가치를 얻기 위한 속성

- 데이터가 커지면 정확성이 높고 세분화된 분석이 가능하다

- 데이터 규모가 커야만 의미있는 머신러닝, 딥러닝 모형을 작성할 수 있다

 

다양성 Variety

- 정형/비정형/반정형 데이터로 구분

- 정형 데이터 : 엑셀 등

- 비정형 데이터 : 사진, 영상, 음성 등

- 반정형 데이터 : XML, Json, html

 

기업은 정형 데이터 중심으로 비(반)정형 데이터 활용

- 전세계 데이터 중 비정형/반정형 데이터 비중은 80% 이상이다

 

속도 Velocity

유무선 네트워크 환경 고도화

- 빅데이텉 시대의 뉴스 : 신문사보다 트위터, 유튜브가 빠르다

 

5V 정확성 & 가치

- 빅데이터는 규모가 크고 다양한 형태로 수지보디지만 정확성은 낮다

정확성이 크다면 분석 결과를 더 신뢰한다

- 빅데이터로부터 가치를 얻어야 의미 있는 의사결정이 가능하다

 

빅데이터의 정리

1. 협의의 정의 : 3V 또는 5V

- 큰 큐모, 다양한 형태, 생성-유통-소비가 빨라서 기존 방식으로 관리/분석이 어려운 데이터

 

2. 광의의 정의

- 빅데이터로부터 의미있는 가치를 도출할 수 있는 빅데이터 관련 기술, 인력, 조직과 인프라 포함