본문 바로가기

전체 글96

데이터활용 Overview 포켓몬으로 이해하는 SQL데이터 탐색 - 조건과 추출하기SQL 기본 문법 SELECT, FROM, WHERE데이터 탐색 : 요약하기문제정의 : 어떤 일을 해야한다 MECE : 중복이 없고 상호배제적이다 So what, Why so 고객이 누구인지 생각원하는 것을 정한다 지표 정의 (Metric)필요한 데이터 탐색 단일 자료 다량의 자료 - 연결 ➡ 조건(필터링) / 추출 / 변환 / 요약(집계)​데이터 결과 검증피드백/활용 2026. 6. 9.
BigQuery 환경설정하기 Google Cloud 설정구글 이메일로 로그인 후, Google Cloud Console로 이동​BigQuery의 환경 구성 요소프로젝트하나의 큰 건물. 건물 안에는 여러 목적을 가진 창고가 존재하나의 프로젝트에 여러 데이터셋이 존재할 수 있다​2. 데이터셋(Dataset)프로젝트에 있는 창고. 각 창고 공간에 데이터를 저장판매 데이터, 고객 데이터 등 별도의 데이터를 저장할 수 있다.하나의 데이터셋에 다양한 테이블이 존재 할 수 이/ㅅ다​3. 테이블 (Table)창고에 있는 선반 테이블 안엔 상품의 세부 정보가 저장​ 탐색기에서 데이터 세트 만들기를 선택합니다 ​ 기본으로 사용하기 위해 이름을 'basic'으로 지정해서 생성 완료! ​1. 테이블1(Pokemon)테이블을 만들 소스 : 업로드파일 선택.. 2026. 6. 9.
BigQuery 기초지식 데이터는 보통 데이터베이스 테이블 등에 저장데이터베이스: 데이터의 저장소 (DB)Table: 데이터가 저장된 공간저장된 데이터를 제품(앱,웹)에서 사용​(예시) 음식 배달 서비스의 데이터 - 유저, 음식점, 음식, 라이더 등​MySQL, Oracle, PostgreSQL 같은 데이터베이수에 주로 저장(AWS Aurora 등)회사마다 다름 (개발자한테 우리 회사는 어떤 데이터베이스를 사용하나요? 물으면 알 수 있음) MySQL, Oracle, PostgreSQL 같은 데이터베이스 특징 ⇒ OLTP OLTP (Online Transaction Processing)거래를 하기 위해 사용되는 데이터 베이스보류, 중간 상태가 없음 - 주문을 완료하거나 안하거나 : 데이터가 무결하다데이터의 추가(Insert), 데.. 2026. 6. 9.
머신러닝 딥러닝 문제해결 전략 3.문제해결 프로세스 및 체크리스트 3장의 학습목표는 머신러닝과 딥러닝, 두 가지 성격의 대회를 정복하는 일반적인 프로세스를 알아보고, 프로세스의 각 단계에서 확인해야 할 체크리스트를 정리하는 것이다. 1. 머신러닝 문제해결 프로세스캐글 경진대회에서 대회에 따라 세부 내용은 조금식 다를 수 있다. 하지만, 큰 흐름과 구조는 비슷하다 문제(경진대회)이해 - 문제를 정확하게 이해해야 목표점 정확히 설정 가능탐색적 데이터 분석 - 데이터를 면밀히 분석, 효과적인 모델을 찾고 최적화 가능데이터 전처리 - 캐글 데이터 대부분은 전처리가 이루어진 데이터를 제공 베이스라인 모델 -  기본 모델을 만든다성능개선 - 다양한 아이디어를 활용해 모델 성능 올리기 (창의력이 가장 많이 필요로 하는 부분) 1. 문제(경진대회)이해문제이해어떤 문제를 풀어야 하는지.. 2025. 1. 1.
데이터과학개론 15.파이썬을 이용한 데이터 시각화 - 2 box plot box plot 히스토그램, 상자그림, 줄기-잎 그림은 모두 데이터의 분포를 보기 위해 사용한다box plot은 데이터의 사분위수를 볼 수 있다. 이상치를 식별하기 좋다여러 데이터의 범위를 한 번에 비교하기 용이하다 order statistics ( 순서 통계량)샘플을 작은 값에서 큰 값 순서로 정렬해서 얻어지는 statistic sample percentile 백분위수 주어진 샘플에서 np개의 같거나 작은 관측값들을 가지는 값(n + 1)pth order statiwstic Quartile 사분위수 first quartile (Q1)second quartile (Q2)third quartile (Q3)IQR : Q3 - Q1 stem-and-leaf줄기-잎 그림 분포와 데이터값을 동시에.. 2024. 12. 23.
데이터과학개론 14.파이썬을 이용한 데이터 시각화 - 1 산점도데이터 분석 과정에서 시각화 중요성전반적인 경향을 직관적으로 이해할 수 있게 도와준다단일 수치에 의한 판단이 야기할 수 있는 오류는 잡아준다데이터 분석의 중요한 한 축을 담당한다 Matplotlib그래프 생성을 위한 파이썬의 대표적 라이브러리figure - 여러 개의 하위 도표를 포함할 수 있는 캔버스 또는 컨테이너와 같은 역할을 하는 객체axe - 우리가 실제로 생각하는 개별 도표figure 하나가 여러개의 axe를 포함 할 수 있다 import matpotlib.pyplot as plt서브플롯plt.subplots 함수를 이용해 figure 객체와 axe 객체들을 얻어각각의 axe 객체를 이용해 도표를 추가해 주면 된다선그래프linestyle 파라미터가 선의 종류를 결정한다soliddashedd.. 2024. 12. 23.
반응형

티스토리툴바