生成AIを試すたびに違う資料を使っていると、手順を変えて良くなったのか、資料が簡単だっただけなのかを比べにくくなります。業務で使う条件を確かめるには、同じ入力と判断基準で確認できる検証用データを用意します。
大量の資料を集める前に、対象業務を一つ選び、普段の入力、困りやすい入力、期待する結果をそろえます。ここで扱うのは、業務担当者が試行結果を比較するための準備です。モデルを追加学習するためのデータ作成を前提にはしません。
検証用データには何を入れるか
一件ごとに、入力資料、試す作業、期待する結果、確認する人を対応付けます。作業の説明だけでは、同じ資料を使っても違う結果を求めてしまいます。要約なら残すべき事実、分類なら選べる区分、下書きなら必須項目を先に決めます。
たとえば社内向けの報告文を作るなら、元資料にない数値を足さないことや、未確定の事項を確定済みと書かないことを確認対象にできます。読みやすさの好みと、事実や形式の誤りを分けると、担当者間で判断を合わせやすくなります。
ツールや指示文の比較をするときは、入力資料と確認条件をそろえます。条件を変えた場合は変更内容を記録し、別条件の結果を一つの成績に混ぜないようにします。
通常例と例外はどう選ぶか
普段よく扱う入力に加えて、手直しが多いものや、処理を止めるべきものを選びます。うまく出力できた例だけを残すと、現場で困る場面が検証から抜けます。次の表は、問い合わせ文面の分類を想定した仮例です。導入実績や測定済みの結果ではありません。
| 用意する例 | 入力の仮例 | 期待する扱い |
|---|---|---|
| 通常例 | 一つの商品に関する納期の質問 | 決めた区分へ分類する |
| 複数の用件 | 納期と請求先の変更が同じ文面にある | 複数区分か保留かを基準に従って扱う |
| 情報不足 | 商品名がなく、いつ届くかだけを質問 | 必要な情報が不足していると示す |
| 対象外 | 対応していない商品の相談 | 推測で分類せず対象外として残す |
例外を多く入れた結果の読み方
失敗しやすい例を集めた検証と、普段の業務から選んだ検証は分けて集計します。例外を多く含む資料の結果を、そのまま日常業務の失敗率として説明しないためです。どの資料を、どの目的で選んだかも残します。
件数の一律の正解はありません。対象業務の種類と判断の難しさから、まず抜けている区分がないかを確認します。同じ様式の通常例ばかり増やす前に、情報不足や複数条件の例が含まれているかを見ます。
正解が一つに決まらない場合
文章の下書きでは、模範文と一字一句同じである必要はありません。必ず含む内容、書いてはいけない内容、確認が必要な箇所を分けて判断基準にします。表現の違いだけで不合格にしないようにします。
一方、金額や日付、取引先名などの項目は、元資料と一致するかを確認します。元資料に記載がない項目を、空欄にするのか不明と表示するのかも決めます。人によって正解が異なる例は、そのまま評価に使わず、基準を調整するか保留対象にします。
AIに正解案を作らせる場合も、業務担当者が元資料を確認します。同じAIが作った回答をそのまま採点基準にすると、元の誤りを見逃します。正解を確認できる担当者の時間も、検証の準備工数に含めます。
調整用と最終確認用を分ける
指示文や入力方法を直すときに使う資料と、修正後の状態を最後に確かめる資料を分けます。調整用の例でうまく動くだけでは、新しい入力でも使えるか判断できないためです。
同じ報告書の修正版や、同じ案件のほぼ同じ文面を両方に入れないようにします。資料の識別番号と案件の対応を残すと、似た入力が混ざっていないか確認できます。最終確認で見つけた問題を調整に使ったら、次の確認には新しい例も追加します。
指示文とツールの版も残す
実施日、ツールのプランや設定、使った指示文、入力資料の版を結果と一緒に記録します。同じ入力でも出力が変わる場面があるため、一度の成功だけで完了とせず、重要な例は繰り返して確認します。試した回数と結果を残し、都合のよい出力だけを選ばないようにします。
保存できる情報の範囲は先に確認します。取引先名などを置き換える場合は、文中の対応関係を保ちます。仮データだけで検証した結果と、実際の業務資料で確認した結果は分けて扱います。
成功条件と追加検証の決め方
検証結果は合格、不合格、判断保留に分け、理由を記録します。通常例での誤りと例外での誤り、事実の間違いと形式の崩れを別々に数えます。合格率だけで終わらず、原文確認や手直しに使った時間も確認します。
試行前に、見逃せない誤りと、人が確認して使える範囲を決めます。特定の区分で問題が残るなら、その区分を対象から外すか、追加で例を集めて試します。検証資料の範囲を超えた業務へ使うときは、同じ結果が出ると決めつけずに確認します。
対象業務や期待する結果がまだ決まっていない段階では、資料を大量に集める作業を先に発注しないほうが進めやすくなります。資料を共有できない、正解を確認する担当者がいない場合は、検証を始める条件を先に整えます。
準備にかかる時間とAI顧問の支援範囲
必要な作業には、資料の抽出、共有できる範囲の確認、正解の記録、試行と結果の確認があります。AIの実行時間だけで見積もらず、社内担当者が資料を選ぶ時間と、確認に戻す時間も含めます。件数は一度に増やさず、試行の結果から不足分を追加します。
AiPHAのライトは月額5万円・税別の相談支援です。業務ヒアリング、個別の運用手順の作成、設定代行、効果集計は含みません。検証方針の相談を中心にするのか、対象業務を決めて現場で試す支援まで必要なのかを確認してください。
スタンダードは月額10万円・税別で1部署・重点業務を同時に1件まで、全社推進は月額30万円・税別で合意した3部署・重点業務を同時に3件まで扱います。日々の試行や資料の準備は社内担当者との役割分担が必要です。検証用資料の作成をどこまで依頼するかも個別に確認します。
いずれも初期費用なし、最低契約期間は6ヶ月です。外部AIサービスの利用料は別途かかります。専用システムの設計・開発は顧問料と別枠で、対象範囲と成果物を確認して見積もります。
試したい業務と困った出力から相談する
対象の業務、共有可能な入力例、期待と違った出力があれば、検証の準備を相談できます。件数が決まっていなくても構いません。まず判断する項目と社内の担当者を確認し、どこまでの資料をそろえるかを決めます。
