【要約】Claude Codeは「実装」する。「設計」はあなたがする。 ── Kaggle初参加でやらかした失敗集 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
Kaggleコンペに初参加した筆者は、Claude Codeで実装を加速させた。しかし設計の欠如により、多くの損失を招いた。AIがコードを高速に生成するため、以下の問題が深刻化した。
- ・ルール誤認による1週間の工数損失。
- ・学習と推論のパイプラインにおける正規化処理の不一致。
- ・StratifiedKFoldの使用によるデータリークの発生。
- ・CVとLBの評価指標の乖離による誤った判断。
// Approach
筆者は失敗の振り返りを通じて、AIに実装を任せる前に人間が果たすべき設計の役割を明確化した。AIの速度を正しく制御するために、以下のプロセスが必要である。
- ・コンペのルールや環境制約の事前調査。
- ・学習と推論の整合性を保つパイプラインの設計。
- ・GroupKFold等の適切な分割手法によるデータリークの防止。
- ・CVを主軸とした評価指標の統一。
// Result
失敗の分析と適切な設計の導入により、モデルの精度向上と実験効率の改善が確認された。具体的な改善内容は以下の通りである。
- ・z-score正規化の適用により、スコアが0.746から0.813へ向上。
- ・適切な閾値設定による疑似ラベル学習時間の短縮。
- ・Google Perch等のドメイン知識活用による開発期間の短縮。
Senior Engineer Insight
> AIエージェントの導入は、開発の「実行速度」を上げるが「方向性」は修正しない。設計ミスがある状態でAIを使うと、負債の生成速度も加速する。エンジニアは「コードを書く作業」から解放される。その分、システムの設計、評価指標の定義、および検証の正当性を担保する役割に注力すべきである。