[빅데이터의 이해와활용] 빅데이터의 수집과 활용 2

텍스트데이터의 활용 2

한국언론진흥재단의 빅카이즈

- 빅카인즈 : 한국언론진흥재단이 언론사 뉴스 통합 데이터베이스에 분석을 접목하여 개발한 뉴스 분석 서비스

 

뉴스 데이터의 특성

- 뉴스 데이터는 검색 데이터에 비해 키워드가 명확

- 데이터의 길이가 길어서 분석에 용이

---

웹페이지 데이터의 수집과 활용

웹크롤링 : 웹페이지 : 텍스트, 이미지, 영상 등이 포함된다

- 데이터분석을 위해 HTML 작성 웹페이지에서 필요 데이터 추출 ➝ 웹 스크래핑, 웹 크롤링

- 검색엔진 : 자동화된 웹 크롤러

웹사이트에서 데이터를 크롤링 - 웹사이트의 구조 파악

 

감정 데이터 분석

 

---

API를 이용한 데이터의 수집과 활용

공공데이터 : 정부와 공공기관이 통계작성, 행정처리 등을 목적으로 수집한 데이터

- 세계 주요 국가 정부와 공공기관의 데이터를 개방

- '공공데이터의 제공 및 이용활성화에 관한 법률'을 제정

---