【要約】AIP合格記：試験対策がてらBedrockを使って弱点特化した問題を作らせる学習システムを自作した [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
AWSの新しい資格（AIP-C01等）の受験者が、学習教材の不足という課題に直面した。既存の教材では、以下の問題が発生していた。
- ・市場に問題集がほとんど存在しない。
- ・問題のバリエーションが少なく、学習が停滞する。
- ・問題の難易度が本番試験のレベルと乖離している。
// Approach
Amazon Bedrockを活用し、弱点に特化したオンデマンド問題生成システムを構築した。以下の手法により、品質とUXを両立させている。
- ・Bedrock Knowledge Baseを用い、試験ガイドに基づいた正確な知識を抽出する。
- ・SQS FIFOとLambdaによる非同期処理で、生成中のタイムアウトを防ぐ。
- ・LLM-as-a-Judgeを採用し、既存問題との類似性や事実誤認を自動検知する。
- ・DynamoDBのGSIを活用し、ドメイン別検索や高評価問題の取得を高速化する。
// Result
開発者は、本システムを用いた学習によりAWS AIP-C01試験に合格した。具体的な成果は以下の通りである。
- ・弱点ドメイン（RAG設計等）を重点的に克服できた。
- ・サーバーレス構成により、月額コストをほぼ$0に抑えた。
- ・Prompt Cachingの活用で、生成コストを約85%削減した。
Senior Engineer Insight
> サーバーレス構成による低コスト運用と、非同期設計によるUX確保のバランスが極めて実戦的である。特に、生成遅延をSQSで隠蔽し、ユーザーに既存問題の継続提供を可能にした点は評価できる。また、LLM-as-a-Judgeによる品質担保は、生成AIのハルシネーション対策として妥当な設計だ。ただし、大規模化の際はDynamoDBの書き込み負荷や、Bedrockのクォータ制限への考慮が必須となる。