【要約】並列クロールが「即座に失敗」で崩壊する仕組みと、それを見逃す適応制御 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が大規模な並列クロールを実施した際、適応制御を導入したにもかかわらず、大量のデータ取得に失敗する問題に直面した。スループットは向上しているように見えるが、実際には接続が拒否され、データが静かに欠損していた。
- ・ルータのNATテーブル飽和による、新規TCP接続の即時拒否。
- ・レイテンシ駆動の制御ロジックが、高速な接続失敗を「低レイテンシ＝健全」と誤認。
- ・制御器が並列数を上げ続け、結果として大量のデータが取得不能になる「静かな破壊」。
// Approach
開発者は、崩壊の真因を特定し、制御ロジックの欠陥を修正するために、消去法と能動的な実験を行った。単なる推測ではなく、実測値に基づいた検証プロセスを構築した。
- ・消去法による容疑者（DNS、ポート枯渇、CPU負荷等）の排除。
- ・VPNを用いたA/Bテストによる、ルータのNATテーブルがボトルネックであることの確定。
- ・制御信号に「レイテンシ」だけでなく「失敗率」を組み合わせる選言（OR）ロジックへの修正。
- ・タイムアウト行を標本から除外していたバグの特定と修正。
// Result
制御ロジックの改善により、システムの安定性と正確性が大幅に向上した。失敗率を監視対象に加えたことで、過並列状態での適切な退避が可能となった。
- ・タイムアウト率が57%から1〜4%へ劇的に低下。
- ・失敗率の監視により、制御が正しく並列数を収束させることを確認。
- ・VPNを利用することで、家庭用ルータ環境下でも接続拒否を回避できることを実証。
Senior Engineer Insight
> レイテンシ駆動の制御は「遅い失敗」には効くが、「速い失敗」には無力である。高速なエラーはスループットの数字を押し上げ、制御器を災害に向かって加速させる。大規模な並列処理を設計する際は、応答速度だけでなく、エラー率をバックプレッシャの信号として組み込むことが不可欠である。また、ネットワーク機器のNAT容量という物理的限界を考慮した設計も、スケーラビリティ確保の鍵となる。