根拠が足りない回答を、そのまま出さない
専門領域の回答支援では、文章が自然でも、判断を支える根拠が欠けていれば困ります。この事例では、回答の作り方より先に、回答してよい条件を決め直しました。
起きていたこと
回答に必要な根拠は一種類ではありません。ところが、根拠を追加取得する処理は一部の種類にしか対応しておらず、それ以外は汎用処理へ流れていました。
このままでは、必要な根拠が取れていないのに、形式だけ整った回答を出す可能性が残ります。参考情報まで含めて全部そろえる条件にすると、今度は不要な保留が増えます。
変更
開発チームは、回答ごとに必須となる根拠を先に定義しました。根拠の種類ごとに取得処理を分け、必須分がそろわない場合は回答を公開せず、保留理由を残すようにしました。
判定対象は、すべての参考情報ではなく、回答を成立させるために必要な根拠です。
確認できたこと
Story、Architecture、Specに判断条件を残し、根拠の種類ごとの取得、必須根拠の充足、保留への遷移を単体テストと一連の動作確認で検証しました。変更がレビューを経てマージされたことも確認しています。
本番反映の有無は、この記録では確認できません。
VibeProの寄与
VibeProが根拠不足を単独で発見したわけではありません。人とエージェントが見つけた問題を、必須根拠がそろわなければ公開しないという条件へ落とし、実装とテストを同じStoryへつないだことが寄与です。
まだ言えないこと
回答内容そのものが専門家の期待を満たしたか、利用者の確認時間が減ったかは確認できていません。売上、顧客満足度、工数削減、不具合削減率も、この記録からは算出できません。