実績一覧へ戻る
Portfolio2025

大規模データ処理バッチシステムのGo移行

毎日数百万件のトランザクションを処理するバッチ基盤を、レガシーPythonからGoへ全面移行し、処理速度とコスト効率を劇的に改善しました。

GoPythonKafkaMySQLDockerKubernetes
大規模データ処理バッチシステムのGo移行 のイメージ
期間
2025
体制
2名(Tech Lead)
役割
Tech Lead

背景と課題

Python製レガシーバッチの処理時間とクラウドコストが増大し、スケーラビリティの確保が急務だった。

成果

  • 処理時間を6時間→38分へ89%短縮
  • 月間クラウドコストを約64%削減
  • sync.WaitGroup + context を用いた安全な並列worker poolを実装
  • Kafka連携でイベント駆動アーキテクチャを導入し、GitHub ActionsでCI/CDを整備

リスクと対策

  • 移行時のデータ整合性の担保
  • 並列処理でのリソース・タイムアウト制御