BigQuery 기초지식

데이터는 보통 데이터베이스 테이블 등에 저장

데이터베이스: 데이터의 저장소 (DB)

Table: 데이터가 저장된 공간

저장된 데이터를 제품(앱,웹)에서 사용

​

(예시) 음식 배달 서비스의 데이터 - 유저, 음식점, 음식, 라이더 등

​

MySQL, Oracle, PostgreSQL 같은 데이터베이수에 주로 저장

(AWS Aurora 등)

회사마다 다름 (개발자한테 우리 회사는 어떤 데이터베이스를 사용하나요? 물으면 알 수 있음)

 

MySQL, Oracle, PostgreSQL 같은 데이터베이스 특징 ⇒ OLTP

OLTP (Online Transaction Processing)

거래를 하기 위해 사용되는 데이터 베이스

보류, 중간 상태가 없음 - 주문을 완료하거나 안하거나 : 데이터가 무결하다

데이터의 추가(Insert), 데이터의 변경(Update) 많이 발생한다.

​

SQL을 사용해 데이터를 추출할 수 있다

하지만 분석을 위해 만든 데이터베이스가 아니면 쿼리 속도 느림

​

OLTP vs OLAP

구분	OLTP (실시간 트랜잭션)	OLAP (데이터 분석)
주 목적	서비스 운영 및 데이터 입력/수정	데이터 분석 및 통계 산출
주요 작업	Insert, Update, Delete (빈번)	Select (복잡한 쿼리, 대량 조회)
데이터 구조	정규화된 형태 (중복 최소화)	분석 최적화 형태 (컬럼형 저장 등)
대표 예시	MySQL, PostgreSQL, Oracle	BigQuery, Snowflake, Redshift

SQL(Structured Query Language)

 

데이터베이스에서 데이터를 가지고 올 때 사용하는 언어

데이터베이스의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어

쿼리문, 쿼리 구문, 쿼리를 짠다, SQL 쿼리 등으로 표현

​

테이블에 저장된 데이터의 형태

 

 

​

행(Row)

새로운 Row는 가로로 한 줄을 의미한다.

하나의 Row가 하나의 고유한 데이터

​

(예시) 거래 history에서 하나의 Row가 거래(발음 주의)

Raw 데이터 : 원본 데이터

속성들을 묶은 하나의 데이터이다.

​

열(Column)

원형 기둥이라는 뜻이다. 세로로 연상

거래의 구매 시간, 거래의 구매자

속성

​

OLAP와 데이터 웨어하우스(DW)의 등장

OLTP로 데이터 분석을 하다가 속도, 기능 부족의 이슈로 OLAP가 등장함

OLAP: Online Analytical Processing

분석을 위한 기능 제공

​

데이터 웨어하우스

데이터를 한 곳에 모아서 저장

여러 곳에 저장된 데이터 예시 D

Database, 웹(크롤링), 파일, API의 결과 등

​

BigQuery 소개

Google Cload의 데이터 웨어하우스

​

BigQuery 장정

1. 난이도

2. 속도

3. firebas, google analytics 4의 데이터를 쉽게 추출

4. 데이터 웨어하우스를 사용하기 위해 서버(컴퓨터)를 띠울 필요 없음

​

BigQuery 를 사용하는 이유

회사에서 앱이나 웹에서 Firebase, Google Analytics 4를 활용할 경우

운영을 적은 비용(인력 등)으로 진행하기 위해

사용하는 회사

==>> 쏘카, 당근, 컬리, 하이퍼커넥트, 마이리얼트립, 버드뷰, 원티드랩, 매스프레소, 오피지지 등