빅쿼리 파티션 테이블의 중요성 | 비용 절감

사내에서 빅쿼리 및 루커스튜디오(대시보드)를 구축하면서 파티션 테이블에 대한 중요성을 몸소 깨닫게 되어 이렇게 포스팅으로 남겨보려고 합니다. 비용을 절감하려면 파티션 테이블을 사용해야한다는 건 알고 있었지만 저희 회사의 웹로그 데이터가 엄청나게 방대한 수준은 아니다보니 많이 체감을 못했었는데요. 최근에 대시보드용 테이블을 만들면서 엄청난 비용 상승과 파티션 테이블로 절감을 맛보게 되었습니다🫠 갑자기 빅쿼리 비용이 증가한 이유?저희 회사에서는 GA4 데이터를 빅쿼리로 Export하여 데이터를 확인하고 있고 전체 PV 또는 주요 페이지의 PV, 주요 이벤트를 묶어서 테이블 별로 관리하고 있습니다. 데이터 양이 많은 테이블의 경우에는 파티션(Partition) 처리를 하고 있긴 합니다.다만 대시보드용 테이블..

• format_list_bulleted 빅쿼리 스터디/빅쿼리
• · 2025. 1. 5.
• textsms

빅쿼리에서 REGEXP_EXTRACT 함수로 URL 요소 추출하기

데이터를 분석하면서 정규식의 요소를 외우기는 힘들지만 대신 알고있으면 분석하고 전처리하는데 매우 유용한 것이 바로 정규식입니다.  오늘은 url과 같은 컬럼을 정규식을 활용해서 특정 요소를 추출하는 과정을 정리해보려고 합니다. 요 정규식을 알고있으면 GTM에서 불필요한 이벤트를 굳이 추가할 필요가 없을 것 같기도 합니다. REGEXP_EXTRACT  함수 regexp_extract(page_location, r'정규식입력') url과 같은 데이터를 전처리하기 위해서는 위 함수에서 첫 번째 value에는 url과 관련된 컬럼을 넣어주시고 두 번째 요소에는 정규식을 입력해주면 됩니다. 그리고 정규식입력하는 value에서 ()를 사용하면 캡쳐링 그룹이라고해서 ()사이에 있는 값을 추출합니다. 제 블로그의 GA..

• format_list_bulleted 빅쿼리 스터디/빅쿼리
• · 2024. 2. 19.
• textsms

자주 사용하는 빅쿼리 GA4 데이터 스키마

GA4 데이터를 빅쿼리에서 분석하기 위해서는 기본적인 데이터 형식과 스키마를 알아야 합니다. 간단하게 얘기하면 어떤 데이터가 들어오는지 체크해야합니다. 업무를 하면서 자주 사용하는 스키마를 정리해보려고 합니다. BigQuery Export 스키마1. event필드 이름데이터 유형설명event_timestamp정수클라이언트에서 이벤트가 기록된 시간(단위 : 마이크로초, UTC)event_date문자열이벤트가 기록된 날짜(앱에 등록된 시간대의 YYYYMMDD 형식)event_params.key문자열이벤트 매개변수의 이름event_params.string_value문자열이벤트 매개변수가 URL이나 캠페인 이름과 같은 문자열로 표시되면 이 필드에 채워집니다.event_params.int_value정수이벤트 매개..

• format_list_bulleted 빅쿼리 스터디/빅쿼리
• · 2024. 2. 18.
• textsms

빅쿼리 GA4 페이지뷰 테이블 만들기

빅쿼리에서 테이블 만드는 내용을 정리하려고 합니다. GA4 데이터를 빅쿼리랑 연동하여 데이터를 분석하면 모든 이벤트 데이터들이 들어오고 특정 이벤트들만 볼 수 있게 테이블을 따로 만들어서 분석을 해볼 수도 있습니다. 이렇게 특정 이벤트 별로 테이블을 만들어서 분석하면 GA4 로우테이블에서 계속해서 분석하는 것보다 쿼리 비용도 크게 절약된다고 알고 있습니다. 오늘은 특정페이지의 페이지뷰 이벤트를 적재하는 테이블을 만드는 과정을 정리해보았습니다. 상세페이지의 페이지뷰 이벤트를 적재하는 테이블을 만들어보겠습니다. 빅쿼리 테이블 만드는 쿼리-- 빅쿼리 테이블 만드는 기본 쿼리create or replace table `myproject.데이터세트이름.테이블이름` as~ 먼저 위 블록에 있는 코드 형태로 테이블을..

• format_list_bulleted 빅쿼리 스터디/빅쿼리
• · 2024. 2. 18.
• textsms

GA4 빅쿼리와 연동하기

최근에 이직을 하게 되면서 현 직장에서 그로스 마케터로 근무하고 있습니다. 웹 기반의 서비스를 운영하는 회사이고 구글애널리틱스(GA4)를 통해 웹로그를 분석하고 있는데 GA4 보고서를 통해 살펴보지 않고 빅쿼리로 분석하고 빅쿼리 데이터셋으로 대시보드를 만들어서 분석을 하고 있었습니다. 그래서 빅쿼리에 대해서 계속 공부를 하고 있는데 그래도 SQL에 대해서는 어느정도 공부를 하고 이직했지만 연습용 데이터로 분석하는 것과 실제 데이터 분석하는 것에는 큰 차이가 있더라구요^^ 빅쿼리 및 웹로그 데이터 분석에 대한 공부 내용을 오랜만에 블로그에 남겨보려고 합니다. 먼저 GA4와 빅쿼리 연동하는 내용에 대해서 정리해보려고 합니다.먼저 GA4 데이터를 빅쿼리로 연동하여 좋았던 점을 얘기하자면,  GA4 데이터를 빅..

• format_list_bulleted 빅쿼리 스터디/빅쿼리
• · 2024. 2. 17.
• textsms

[해커랭크] MySQL 서브쿼리 - Top Competitors

Top Competitors | HackerRankQuery a list of top-scoring hackers.www.hackerrank.com문제)Julia just finished conducting a coding contest, and she needs your help assembling the leaderboard! Write a query to print the respective hacker_id and name of hackers who achieved full scores for more than one challenge.Order your output in descending order by the total number of challenges in which the hacker..

• format_list_bulleted SQL 스터디/HackerRank
• · 2023. 9. 14.
• textsms