お気に入りのYouTuberの全動画の字幕をPythonで抽出する方法 | TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
大量の動画から字幕を抽出する際、YouTubeの仕様変更に伴うAPIの動作不良、短時間のリクエストによるレート制限（HTTP 429）、Cookie形式の不一致、およびWindows環境における文字コード問題といった、スクレイピング特有の技術的障壁が頻発する点。
// Approach
youtube-transcript-apiではなく、更新頻度の高いyt-dlpを中核に採用。バッチ処理と待機時間の導入によるレート制限対策、JSONからNetscape形式へのCookie変換スクリプトの提供、および取得済みIDの保存によるレジューム機能を実装することで、大規模な取得作業の安定性を確保した。
// Result
800本を超える動画の字幕取得に成功。取得したテキストはClaude AIを用いてテーマ別に体系化され、非構造化データから知識ベースを構築する実用的なワークフローが確立された。
Senior Engineer Insight
> 本実装は、単なるスクリプトの範疇を超え、非構造化データをAI活用可能なデータセットへ変換する「データパイプライン」の最小構成として高く評価できる。特に、レート制限を考慮したバッチ制御や、中断を前提としたレジューム機能の実装は、実運用における堅牢性を重視した実践的な判断である。ただし、商用環境への投入に際しては、YouTubeの利用規約遵守、IP制限のリスク管理、および自動生成字幕のノイズ（誤字脱字）に対する後処理の精度向上が、スケーラビリティ確保のための課題となる。