Google Cloud BigQuery 설정

-- run_date 변수 선언: DATE 타입이며, 기본값으로 어제 날짜를 설정합니다.
-- 이 날짜는 데이터 조회 기간의 종료일 및 파일 경로 생성의 기준이 됩니다.
DECLARE run_date DATE DEFAULT DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY);

-- start_of_month 변수 선언: DATE 타입이며, 'run_date'(어제)가 속한 달의 시작일(1일)을 설정합니다.
-- 예: 오늘이 2025년 9월 4일이면, run_date는 9월 3일이고, start_of_month는 9월 1일이 됩니다.
DECLARE start_of_month DATE DEFAULT DATE_TRUNC(run_date, MONTH);

-- EXPORT DATA 구문: 쿼리 결과를 Google Cloud Storage(GCS)로 내보냅니다.
EXPORT DATA OPTIONS(
  -- uri: 데이터가 저장될 GCS 경로와 파일명을 지정합니다.
  -- 경로는 'run_date'(어제)의 연도와 월을 기준으로 동적으로 생성됩니다.
  uri=CONCAT(
    'gs://{GCS_BUCKET}/{PROJECT_ID}/',
    FORMAT_DATE('%Y/%m', run_date), -- 'YYYY/MM' 형식의 폴더 경로 (어제 기준)
    '/billing_data_',
    FORMAT_DATE('%Y%m', run_date),  -- 'YYYYMM' 형식의 파일명 일부 (어제 기준)
    '-*.parquet'
  ),
  format='PARQUET',        -- 파일 형식은 Parquet
  compression='GZIP',      -- 압축 방식은 GZIP
  overwrite=true           -- 기존 파일 덮어쓰기 허용
) AS
-- AS 이하의 SELECT 쿼리 결과를 내보냅니다.
SELECT *
FROM `{DATA_SET_ID}`
WHERE
  -- _PARTITIONTIME을 기준으로 '이달 1일'부터 '어제'까지의 데이터 파티션만 스캔합니다.
  -- 이를 통해 쿼리 성능을 높이고 비용을 절감합니다.
  DATE(_PARTITIONTIME) BETWEEN start_of_month AND run_date
  -- invoice.month 필드가 '어제'가 속한 월('YYYYMM' 형식)과 일치하는 데이터만 필터링합니다.
  -- 예: run_date가 2025-09-03 이면, invoice.month가 '202509'인 데이터만 선택됩니다.
  AND invoice.month = FORMAT_DATE('%Y%m', run_date);

-- run_date 변수 선언: DATE 타입이며, 기본값으로 어제 날짜를 설정합니다.
-- CURRENT_DATE()는 오늘 날짜를 반환하며, INTERVAL 1 DAY를 빼서 어제를 계산합니다.
DECLARE run_date DATE DEFAULT DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY);

-- prev_month_start 변수 선언: DATE 타입이며, 기본값으로 지난달의 시작일(1일)을 설정합니다.
-- 예: 오늘이 2025년 9월 4일이라면, (1) CURRENT_DATE()에서 한 달을 빼고 (2025년 8월 4일),
-- (2) DATE_TRUNC 함수를 사용해 해당 월의 첫 날(2025년 8월 1일)로 변환합니다.
DECLARE prev_month_start DATE DEFAULT DATE_TRUNC(DATE_SUB(CURRENT_DATE(), INTERVAL 1 MONTH), MONTH);

-- EXPORT DATA 구문: 쿼리 결과를 Google Cloud Storage(GCS)로 내보냅니다.
EXPORT DATA OPTIONS(
  -- uri: 데이터가 저장될 GCS 경로와 파일명을 지정합니다.
  -- CONCAT 함수를 사용하여 동적으로 경로를 생성합니다.
  uri=CONCAT(
    'gs://{GCS_BUCKET}/{PROJECT_ID}/',
    FORMAT_DATE('%Y/%m', prev_month_start), -- 'YYYY/MM' 형식의 폴더 경로 생성
    '/billing_data_',
    FORMAT_DATE('%Y%m', prev_month_start),  -- 'YYYYMM' 형식의 파일명 일부 생성
    '-*.parquet' -- BigQuery가 여러 파일로 분할하여 내보낼 수 있음을 나타내는 와일드카드(*)
  ),
  format='PARQUET',        -- 파일 형식은 Parquet으로 지정
  compression='GZIP',      -- 압축 방식은 GZIP으로 지정
  overwrite=true           -- 동일한 이름의 파일이 이미 존재할 경우 덮어쓰기 설정
) AS
-- AS 이하의 SELECT 쿼리 결과를 내보냅니다.
SELECT * -- 모든 열을 선택합니다.
FROM `{DATA_SET_ID}` -- 대상이 되는 GCP 결제 데이터 테이블
WHERE
  -- _PARTITIONTIME은 파티션된 테이블의 파티션 날짜를 의미합니다.
  -- 이 조건을 사용하면 스캔하는 데이터 양을 줄여 쿼리 비용을 절감하고 성능을 높일 수 있습니다.
  -- 여기서는 '지난달 1일'부터 '어제'까지의 데이터 파티션만 스캔하도록 제한합니다.
  DATE(_PARTITIONTIME) BETWEEN prev_month_start AND run_date
  -- invoice.month 필드가 '지난달'과 일치하는 데이터만 필터링합니다.
  -- _PARTITIONTIME 필터링과 함께 사용하여 정확히 지난달의 청구 데이터만 추출합니다.
  AND invoice.month = FORMAT_DATE('%Y%m', prev_month_start);