데이터과학개론 06.빅데이터의 분석 도구

1. 빅데이터의 개념과 분석 절차

3V 

가트너가 뽑은 빅데이터 특징
규모 (Volume) - 용량이 매우 방대하다
속도 (Velocity) - 생성속도가 매우 빠르다
다양성 (Variety) - 생성되는 데이터의 형태가 다양하다
 

4V or 5V

Value 또는 정합성 유지의 중요성을 강조하는 Veracity 등을 포함해
빅데이터의 속성을 설명하기도 한다 
 

빅데이터 분석의 특징 

모집단으로부터 추출된 표본에 근거하여 추론을 실시하는 방법만으로는 분석에 한계가 있다
- 보다 유연한 분석 방법이 요구된다
- 알고리즘 접근법은 유연하고 성능 좋은 모형 적합이 포함된다 
그래서 빅데이터 분석에 유용하다
>>>> 가공하지 않은 데이터로부터 소량의 정보나 지식을 추출하는
데이터 마이닝 기법이 적절하게 활용된다 
 

빅데이터의 특징

복잡한 구조의 데이터를 단순화한다
데이터가 의미하는 바를 체계적으로 정리해 표현한다
>> 도표/그래프/정보요약 등의 데이터 시각화가 효과적으로 활용된다

2. 프로그래밍의 의의

프로그래밍 

컴퓨터에 명령을 전달해 과업을 수행하도록 하는 절차
 

빅데이터 시대의 프로그래밍 지식

데이터 사이언티스트는 다영한 도구와 과학적 접근법을 동원해 
데이터의 특성을 파악하고 분석한다
한편, 합리적인 의사결정을 돕는 역할을 한다

3. 빅데이터 시대의 프로그래밍 언어

활용도 높은 언어들 

데이터 사이언스 업계 종사자들에게 얼마나 자주 특정 프로그래밍 언어를 사용하는지 
  - 파이썬 
  - SQL, R, JavaScript 등 
 

파이선의 특징 

구문이난 문법이 자연어에 가깝게 만들어져서 직관직인 이해에 용이하다
유사한 함수를 모아 놓은 것이 모듈
모듈의 집합체는 라이브러리