【要約】割安株ランキングの「なぜ安いか」をAIに有報を読ませて確かめたら、無料AIに会社を丸ごと捏造された話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者がAIを用いて作成した株式スクリーニングツールにおいて、分析の信頼性と指標の妥当性に問題が生じた。具体的には以下の課題に直面した。
- ・AIが生成したランキングが「安さ」のみを評価し、収益性やリスクを考慮できていなかった。
- ・無料のLLMを用いた有報分析において、財務数値は正確でも事業内容を捏造するハルシネーションが発生した。
- ・スクリーニング指標（ROE等）が、一時的な特別利益によって実態と乖離する「罠」を見抜けなかった。
// Approach
筆者は、AIの誤用を防ぎ、分析精度を高めるために、評価ロジックとデータ取得フローを再構築した。以下の手法を採用している。
- ・スコアリングを「割安度」と「収益力」の2軸（5:5）に分離し、配当利回りに上限を設けた。
- ・エージェントによる自動取得を避け、EDINETから取得したCSVを高性能AIに直接投入する方式へ変更した。
- ・AIの分析から「特別利益によるROEの水増し」等の罠を特定し、それを検知するフラグをスクリーニングに実装した。
// Result
分析プロセスの改善により、スクリーニングの精度と実用性が大幅に向上した。具体的な成果は以下の通りである。
- ・一時的な利益で指標が歪んだ銘柄を、自動的に「要注意リスト」として抽出可能になった。
- ・全3,500銘柄のうち、実態の伴わない「罠」を持つ約2割の銘柄を効率的に識別できるようになった。
- ・スクリーニングとAI分析を往復させることで、投資判断の精度を継続的に高めるサイクルを確立した。
Senior Engineer Insight
> LLMを実務に投入する際の典型的な失敗と、その回避策が示されている。特に、エージェントによる自律的なデータ取得は、コストと精度の制御が困難である。構造化データ（CSV）を直接高性能モデルに渡す「人間によるデータ制御＋AIによる解釈」のハイブリッド構成は、信頼性が求められる金融ドメインにおいて極めて現実的かつ堅牢な設計である。また、AIの分析結果を再びスクリーニングのロジックへ還元する手法は、MLOps的な観点からも理にかなっている。