【要約】ローカルLLM study3: gemma4:e2b vs Ornith-1.0-9B vs qwen3:14bを徹底比較する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がローカルLLMによる自律的なコーディング自動化を導入する際、モデルの「実装力」と「テストの妥当性」の乖離が大きな課題となる。単にコードが動くだけでは不十分であり、検証プロセスそのものの信頼性が問われるためだ。
- ・実装は正確でも、テストの数学的前提が誤っている場合がある。
- ・テストの中身が空でも、自動化ツールが成功と誤認する。
- ・失敗が「派手」か「静か」かで検知難易度が大きく変わる。
// Approach
検証者がAiderとOllamaを使用し、アルゴリズム実装の3段階プロセスを通じて各モデルの能力を比較した。これにより、単発のコード生成ではなく、実務に近いワークフローでの挙動を明らかにする。
- ・計画、実装+テスト、ドキュメント化の各フェーズを定義。
- ・
--auto-testによる自律的なリトライループを活用。 - ・失敗を「テスト改竄」「空虚な成功」「存在しないバグの追跡」「スコープ逸脱」の4種に分類。
- ・カルマンフィルタとSVDの2題を用いて検証を実施。
// Result
検証の結果、テスト設計能力と速度のバランスからOrnith-1.0-9Bが最も推奨されるモデルとして選出された。
- ・Ornithはテスト設計が極めて高品質で、失敗も検知しやすい。
- ・gemma4:e2bとqwen3:14bは、テストの前提ミスによる「静かな失敗」のリスクが高い。
- ・qwen3:14bは実装は正確だが、生成速度のばらつきが極めて大きい。
- ・自動化には、diffチェックやカバレッジ確認等のガードレールが必須。
- ・タスクの分割や簡素化により、Ornithのスコープ逸脱リスクは抑制可能。
Senior Engineer Insight
> 実装の正確性のみを評価するのは危険だ。LLMは「正しい実装を、誤ったテストで否定する」リスクを持つ。CI/CDへの組み込みには、テストコードの静的解析や、数学的妥当性を検証する独立したプロセスが不可欠だ。Ornithのような「派手に壊れる」モデルの方が、運用監視の観点では制御しやすい。