구글 빅쿼리(BigQuery)란?
구글 빅쿼리(BigQuery)는 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스이다. 기존 RDBMS에서 사용하던 SQL 언어를 그대로 도입하여 손쉽게 데이터를 쿼리할 수 있고 WEB-UI로 서비스하여 접근성에도 상당히 용이하다. 그리고 빅쿼리는 확장 가능한 분산형 분석 엔진을 통해 테라바이트급 쿼리를 초 단위로 수행하고 페타바이트급 쿼리를 분 단위로 쿼리할 수 있다.
* [참고] 1PB(페타바이트) 는 1,000 TB에 해당하는 거대한 용량이다.
1PB = 1,000,000,000,000,000 bytes = 1,000,000,000,000 KB = 1,000,000,000 MB = 1,000,000 GB = 1000 TB
개발자로 일을 하면서 MS-SQL 부터 Oracle, MySQL 등 여러가지 RDBMS 를 사용해봤던 경험으로 빅쿼리 처음 이미지는 획기적이긴 했다. 기존 DBMS에서 데이터 량이 너무 많아 수 시간 또는 심지어 돌려놓고 퇴근하고 아침에 확인하는 케이스도 있는데 빅쿼리에서는 그보다 더 많은 데이터인데도 불구하고 수 초 또는 수 분 내에 결과가 나온다. 당연히 구글에서 하드웨어에 그만큼 투자를 했기 때문에 이만큼의 속도가 보장되긴하지만, 상당히 매력적인 도구임은 틀림없는 것 같다.
구글 빅쿼리(BigQuery) 특징
설치 및 서버가 필요없음
- 웹브라우저를 이용하여 사이트에 접속하는 것만으로 쿼리 및 데이터 분석 작업이 바로 가능
SQL언어 사용
- 기존 RDBMS에사 사용하던 표준 SQL을 도입하여 이용경험이 있는 사용자의 경우 바로 사용 가능
효율적인 비용정책
- 저렴한 비용 정책으로 데이터 사이즈 및 쿼리 데이터 양에 따라 비용이 측정되어 효율적으로 운영이 가능
레코드 데이터 지원
- 단순 행(Row)과 열(Column)의 데이터가 아닌 특정 열을 레코드(Record) 형태로 저장 및 관리가 가능 (아래 이미지 참고)
* 쿼리 실행할 때 레코드 형태 데이터는 UNNEST함수를 통해 조회 가능
이상 구글 빅쿼리(BigQuery)에 대해 간단히 알아보았다.
자세한 내용은 구글 빅쿼리 공식 사이트를 참고
https://cloud.google.com/bigquery/docs/introduction?hl=ko#explore-bigquery
추후 구글 빅쿼리(BigQuery) 팁이나 활용사례를 위주로 공유 해볼려고 한다.
끝.