ジェネレータ vs リスト ─ `yield` を理解してメモリ効率を上げよう
> Source: Zenn_Python
Execute Primary Source
// Problem
大量のデータ、例えば数GB規模のログファイルや数百万件のレコードを扱う際、全ての要素をメモリ上に展開するリスト形式を用いると、メモリ消費量が要素数に比例して増大する。これにより、システムのメモリリソースを枯渇させ、プロセスが強制終了（OOM）するリスクが生じる。
// Approach
`yield` 命令を用いたジェネレータを導入し、データを一括生成するのではなく、必要な時に1つずつ生成する「遅延評価」の手法を提案する。これにより、データ全体のサイズに関わらず、メモリ使用量を一定の低水準に保ちながら、ストリーム形式で効率的にデータを処理するアプローチを示す。
// Result
100万要素の比較実験において、リストが約8MBを消費するのに対し、ジェネレータは約104バイトという極めて微量なメモリ使用量で動作することを確認した。この特性により、メモリ制約の厳しい環境や、巨大なファイル処理においても、安定したシステム運用が可能となる。
Senior Engineer Insight
> 大規模なデータセットを扱う実務において、ジェネレータの活用は単なるテクニックではなく、システムの生存戦略である。リストによる一括読み込みは、データ量の増大に伴いメモリ消費を線形に増大させ、予期せぬOOMを引き起こす。一方、ジェネレータによる遅延評価は、メモリ使用量を定数時間（O(1)）に抑えることを可能にする。ただし、ジェネレータは一度消費すると再利用できない点や、ランダムアクセスが不可能である点に注意が必要だ。パイプライン設計において、各工程をジェネレータで構成することで、メモリフットプリントを最小化しつつ、高いスループットを維持できる。開発者は、計算コストとメモリ効率のトレードオフを常に意識すべきである。