
TypeORM Gzip을 활용한 데이터 압축 및 최적화
·
Backend
사내 프로젝트에서 구글 빅쿼리 데이터를 조회하고 특정 시점의 스냅샷을 저장해야 하는 요구사항이 있었습니다. 처음엔 MySQL을 선택했지만 향후 S3 연동도 고려하고 있습니다.배경 및 문제점기존 방식MySQL의 JSON 타입 컬럼으로 데이터를 저장했습니다.다수의 부동소수점(float) 값이 포함된 JSON 데이터에서 부동소수점 오차로 인한 데이터 불일치가 발생했습니다.이 문제는 TDD를 통해 조기에 발견되었습니다.해결 방안데이터 일관성을 위해 JSON 데이터를 문자열로 변환하고, MySQL 컬럼 타입을 longtext로 변경했습니다.새로운 문제점빅쿼리에서 조회한 테이블 중 하나가 약 66MB 크기로, MySQL의 max_allowed_packet(64MB) 한계를 초과하여 에러가 발생했습니다.단순한 설정 ..