No Story, No Ecstasy

http://www.yes24.com/Product/Goods/95562895 구글 빅쿼리 완벽 가이드 - YES24 빅데이터, 데이터 엔지니어링, 머신러닝을 위한 대용량 데이터 분석과 처리의 모든 것협업과 신속함을 갖춘 작업 공간을 구축하는 동시에 페타바이트 규모의 데이터셋을 처리해보자. 이 책은 www.yes24.com * '구글 빅쿼리 완벽 가이드' 내용 중 일부를 정리한 글입니다. 네트워크 오버헤드 최소화하기 GCP 외부에서 빅쿼리를 호출한다면, 네트워크 토폴로지를 고려하고, 클라이언트 머신과 데이터셋을 생성한 GCP 데이터센터 사이에 네트워크 경로를 최대한 단축한다. 압축한 부분 응답 REST API를 직접 호출할 때 압축한 부분 응답을 승인해 네트워크 오버헤드를 최소화할 수 있다. 압축한 응답..

http://www.yes24.com/Product/Goods/95562895 구글 빅쿼리 완벽 가이드 - YES24 빅데이터, 데이터 엔지니어링, 머신러닝을 위한 대용량 데이터 분석과 처리의 모든 것협업과 신속함을 갖춘 작업 공간을 구축하는 동시에 페타바이트 규모의 데이터셋을 처리해보자. 이 책은 www.yes24.com * '구글 빅쿼리 완벽 가이드' 내용 중 일부를 정리한 글입니다. I/O 최소화 간단한 쿼리의 오버헤드 대부분은 연산이 아니라 I/O에 의해서 발생한다. 1. SELECT의 대상을 명확히 하기 ("SELECT *"의 사용을 최대한 피하고, 가능한 최소한의 컬럼만 참조) 2. 만약 거의 모든 컬럼이 필요하다면, 차라리 "SELECT * EXCEPT" 문법을 통해 불필요한 컬럼을 제거한다..

Google BigQuery의 특징 클라우드 환경의 Data Warehouse로, PB 급의 데이터 저장 및 분석용 서비스다. 관계형 구조를 가지지 않는 NoSQL 기반의 데이터 저장소이지만, RDBMS처럼 사용할 수 있는 SQL를 제공한다. - Serverless: 별도의 운영 환경 세팅이 필요 없다. - SQL 활용: 일반 SQL을 통해 데이터 조회가 가능하다. (레코드 형식의 필드인 경우 unnest 함수를 통해 flatten 작업 필요) - 3중 복제: 3중 복제로 인하여 데이터 안정성 보장 (하둡과 동일) - REST API를 활용한 배치, 스트리밍 기능을 모두 지원 Google BigQuery의 데이터 구조 - Project: 최상위 컨테이너. 다수의 Data Set 소유 가능. 사용자와 Da..