スクレイピングのエラーハンドリング完全ガイド【リトライ・タイムアウト・例外処理】 | TechDistill

> Source: Zenn_Python

// Problem

スクレイピングは、ネットワークの不安定さ、サーバー側のレート制限、HTML構造の予期せぬ変更など、制御不能な外部要因に常に晒される。これらへの対策が不十分なスクリプトは、エラー発生時にプロセスが停止し、収集データの欠損や、大規模収集における再実行コストの増大を招くという課題がある。

// Approach

タイムアウトの明示的な設定、urllib3を活用した指数バックオフとジッターを含むリトライ設計、HTTPステータスコードに応じた動的な待機処理を導入する。また、HTML解析時にはNoneチェックと構造検証ロジックを組み込み、失敗したURLをJSONL形式で記録・再収集する仕組みを構築することで、堅牢性を確保する。

// Result

ネットワークエラーやレート制限、構造変化といった動的な問題に対し、プロセスを停止させずに収集を継続できる堅牢なスクレイパーを実現する。プロキシの併用や統計情報の記録により、大規模なデータ収集における運用コストの低減と、高いデータ完備性を両立できる設計指針が示されている。

Senior Engineer Insight

> 本記事が提示する設計は、単なる「エラー回避」ではなく「継続的なデータパイプライン」の構築を目的としており、実戦的である。特に、指数バックオフへのジッターの追加や、失敗URLの永続化（JSONL）といった設計は、分散環境や大規模収集における運用負荷を劇的に下げる。ただし、プロキシ利用や高度なリトライはコスト増に直結するため、対象サイトの重要度やデータの鮮度に応じたトレードオフの判断が求められる。エンジニアとしては、エラーを「防ぐ」努力と、エラーを「受け流す」設計のバランスを意識すべきである。