No Story, No Ecstasy

http://www.yes24.com/Product/Goods/95562895 구글 빅쿼리 완벽 가이드 - YES24 빅데이터, 데이터 엔지니어링, 머신러닝을 위한 대용량 데이터 분석과 처리의 모든 것협업과 신속함을 갖춘 작업 공간을 구축하는 동시에 페타바이트 규모의 데이터셋을 처리해보자. 이 책은 www.yes24.com * '구글 빅쿼리 완벽 가이드' 내용 중 일부를 정리한 글입니다. 네트워크 오버헤드 최소화하기 GCP 외부에서 빅쿼리를 호출한다면, 네트워크 토폴로지를 고려하고, 클라이언트 머신과 데이터셋을 생성한 GCP 데이터센터 사이에 네트워크 경로를 최대한 단축한다. 압축한 부분 응답 REST API를 직접 호출할 때 압축한 부분 응답을 승인해 네트워크 오버헤드를 최소화할 수 있다. 압축한 응답..

Clustering에는 크게 3개의 방법론들이 있다. 1. Distance-based (ex. K-means) 2. Density-based and grid-based (ex. DBSCAN, HDBSCAN) 3. Probabilistic and generative (ex. Mixture Distributed) 2번 방법론 중 가장 대표적인 예는 DBSCAN (Density based Spatial Clustering of Applications with Noise)인데, HDBSCAN (Hierarchical DBSCAN)은 기존의 계층적 클러스터링 개념을 DBSCAN에 입혀서 기존 DBSCAN이 가진 단점을 보완한 방법론이다. 구체적으로는 DBSCAN의 hyper parameter인 eps를 설정할 필..