BigQuery Storage Read API와 DATE 타입 불일치 해결하기들어가며최근 프로젝트에서 BigQuery의 성능 개선을 위해 Storage Read API를 도입하는 과정에서 흥미로운 문제를 만났습니다. GoogleSQL의 DATE 타입과 Apache Avro의 DATE 타입 간의 불일치로 인해 예상치 못한 데이터 변환 이슈가 발생했는데요, 이를 해결하는 과정을 공유해보려 합니다.왜 Storage Read API인가?BigQuery에서 데이터를 읽는 방법은 크게 두 가지가 있습니다:구분Legacy APIStorage Read API통신 방식REST 기반gRPC 기반데이터 형식JSONApache Avro/Arrow처리 방식순차적 페이지네이션병렬 스트림성능기준약 20-30% 개선메모리기준상당한 ..

Tistory에서 Mermaid 다이어그램 다크모드 자동 전환 구현하기"pronist/hello 스킨과 완벽하게 동기화되는 Mermaid 다이어그램 만들기"프롤로그: 다크모드 시대의 다이어그램 딜레마기술 블로그를 운영하다 보면 다이어그램은 필수입니다. 복잡한 아키텍처를 설명하거나 플로우차트를 그릴 때 Mermaid만큼 편리한 도구도 없죠.하지만 다크모드가 대세가 된 지금, 한 가지 문제가 있었습니다:😎 사용자가 다크모드로 전환📊 다이어그램은 여전히 라이트 테마👀 눈이 아픈 상황 발생...특히 Tistory + pronist/hello 스킨을 사용하는 환경에서는 더욱 복잡했습니다. 스킨의 다크모드 토글과 Mermaid 테마가 따로 놀았거든요.문제 상황 분석1. Tistory의 코드 블록 제약Tisto..

사내 어드민의 딜레마 - t4g.small의 한계"하루 4번 서버가 죽는 이유를 찾아서"프롤로그: 평범한 월요일 오전의 악몽flowchart LR %% ─── Google Cloud ─── subgraph Google Cloud BQ["BigQuery\n(360일 지표)"] DP["Dataflow\n배치 파이프라인"] MT["Metrics Table\n파티션 테이블"] end %% ─── Admin VPC ─── subgraph Admin VPC API["NestJS Admin API"] UI["어드민\nDashboard"] end Scheduler["Cloud Scheduler\n하루 4회 트리거"] ..