canonicalize internal-bucket raw to ndjson (benchmark-gated)

S3 연동 시 다양한 데이터 포맷(Parquet, CSV 등)을 처리하는 내부 파이프라인을 개선했습니다. 기존에는 포맷별로 서로 다른 경로로 데이터를 읽어 들여 간헐적으로 처리 불일치가 발생할 수 있었는데, 이제 모든 원천 데이터를 단일 표준 형식으로 정규화한 뒤 후속 처리를 진행합니다.

이번 변경으로 S3에서 어떤 형식의 파일을 연결하더라도 동일한 품질과 일관성으로 데이터가 적재됩니다. 대용량 파일 처리 시에도 메모리 사용량을 사전 검증하여 안정성을 확보했으므로, 대규모 데이터셋을 다루는 고객도 별도 조치 없이 그대로 사용하실 수 있습니다.