【要約】多肉植物LM を育てる (1) — データセットの作成とモデル訓練まで [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
[WARN: Partial Data] 記事は(1)であり、分割されているため。
// Problem
従来のミニ言語モデルでは、キャラクターの性格付けや性別判定が困難。データセット作成が機械的になりやすく、ストーリー性を出しにくい課題。特定のキャラクター性を維持しつつ、一貫した対話を実現するデータ設計が必要。
// Approach
1.LLM（Gemini 3 Flash, Claude Sonnet 4.6）による合成データ生成。
2.キャラクター（Winy, Ruby）の性格、語彙傾向、世界観を定義。
3.語彙を154語に制限したデータセットを構築。
4.GloVe（2024 Wikipedia + Gigaword 5）による単語埋め込みを利用。
5.Transformerモデルを実装（Pre-LN、Weight Tying、Multi-Head Attention）。
// Result
キャラクターの性別や性格を学習。一方で、Yes/Noの使い分けに課題が残る。回答の整合性がガチャ要素に依存する側面あり。しかし、関係代名詞（who loves him）等の未知の構文が生成される興味深い挙動も確認。
Senior Engineer Insight
> 制御された語彙と合成データによる「振る舞いの設計」は、エッジAIにおける特化型モデル開発の示唆となる。極小モデルにおいて、LLMをデータ生成器として使い、挙動を精密に制御する手法は合理的。ただし、論理的整合性の欠如は構造的限界。実戦投入には、ドメインの厳密な限定と、検証プロセスの自動化が不可欠。