[빅데이터의 이해와활용] 빅데이터의 수집과 활용 1
빅데이터의 수집빅데이터의 수집 원천 : 내부 데이터 & 외부 데이터내부데이터- 정부 및 기업의 업무 과정에서 생성- 데이터베이스 등에 저장되어 업무에 활용, 일반적으로는 비공개- 정부 : 행정, 국세정보 등- 기업 : 인사, 회계, 고객 등 내부데이터 수집- 로그 데이터- 각종 센서 데이터, CCTV 등 외부데이터- 웹페이지, 정부 및 기업의 공개 데이터, SNS 데이터 등- 대부분 반정형 , 비정형 데이터 외부데이터 수집- 데이터베이스- 공개 API- 웹 크롤링 빅데이터 수집 : 검색, 수집, 변환의 연속과정- 다양한 원천 데이터를 수집 변환 통합하는 것- 비정형(반정형) 데이터를 정형 데이터로 변화하는 과정을 포함한다 외부데이터통계청 KOSIS정부 공공 데이터 포털AI HUB검색 데이터SNS 데이터뉴..
2024. 10. 7.
[빅데이터의 이해와활용] 빅데이터의 개요1
빅데이터 시대빅데이터 Big Data크고 다양한 형태를 가지고, 빠르게 생산/유통/소비되는 데이터빅데이터로부터 통찰을 얻는다 빅데이터의 이해⮕ SNS 데이터, 검색 데이터, 뉴스데이터, 동영상, 사진, 위치 데이터 등 DIKW 피라미드데이터 - 정보 - 지식 - 지혜 데이터는 데이터, 정보, 지식을 모두 포함한다 데이터의 구분1. 형태 : 정형, 비정형2. 보안 : 비밀, 민감, 일반3. 개인정보 : 식별, 비식별4. 개인 / 비개인 : 개인, 비개인(비식별, 기계) 가트넌의 하이프사이클 빅데이터의 확산 배경빅데이터의 확산 배경 개요1. 스마트기기 - 모바일 스마트 기기와 센서의 확산2. 인프라 - 빅데이터를 저장, 처리할 수 있는 하드웨어 인프라와 통신의 빠른 발전3. 소프트웨어 - 소프트웨어의 빠..
2024. 10. 7.
