生成AIを使うと下書きは早くできる。それでも、確認や書き直しが増え、仕事全体が楽になったか分からない。導入効果を説明する担当者が、こうした判断に迷うことがあります。
効果測定では、同じ品質で仕事を終えるまでに、関係者が使った時間を比べます。入力の準備、回答の確認、修正、差し戻しまで記録し、毎月の運用負担と費用も合わせて確認します。
この記事では、兼任でAI活用を進める中小企業の担当者に向けて、1業務から測る手順と、継続・改善・対象変更を判断する方法を整理します。
生成AIの効果測定では、作業時間と品質を一緒に見る
利用回数や生成の速さは、使われ方を知る手がかりです。ただし、その数字だけでは業務の負担が減ったかは分かりません。担当者の作成時間が短くなっても、上司の確認や別部署の修正が増えている可能性があります。
こども家庭庁の「生成AIの導入・活用に向けた実践ハンドブック」も、既存の業務に生成AIを加えた結果、入力と確認・修正の負担が増える場合を挙げ、担当させる業務の見直しを示しています。こども・子育て分野向けの資料ですが、前後の工程を含めて確かめる視点は、自社の測定設計にも参考になります。
最初は、次の4項目をそろえると判断しやすくなります。
- 作業工数：担当者、確認者、修正に関わる人が実際に使った時間
- 品質：必要な項目の欠落、事実の誤り、承認基準への適合
- 手戻り：差し戻された件数、理由、やり直しに使った時間
- 利用状況：対象業務の件数、AIを使った件数、使わなかった理由
例えば「月に100回使った」という数字だけでは、同じ案件を何度もやり直したのか、100件の仕事が完了したのかを区別できません。生成回数と完了件数は分けて残します。
効果測定を始める前にそろえる3つの条件
1業務の開始点と完了点を決める
「資料作成」では範囲が広すぎます。例えば「承認済みの月次報告資料を受け取り、社内会議用の要約を確認者が承認するまで」と決めます。資料を探す時間を含めるなら、AIを使わない場合にも同じ範囲を含めてください。
途中でAIの出力を採用できず、従来の方法に戻した案件も対象です。試行に使った時間と、戻して完成させた時間の両方を記録します。うまくいった案件だけを集めないことが重要です。
完成と認める品質を先に決める
要約なら、「数値と単位が原資料に一致する」「重要な条件が抜けていない」「原資料にない断定を加えない」「指定の長さと形式に収まる」といった確認項目を用意します。
AIを使った成果物だけ確認を省いたり、従来より低い品質で合格にしたりすると、比較が成立しません。重大な誤りと、表記などの軽微な修正を分け、どの誤りがあれば利用を止めるかも決めます。
英国政府のAI導入の影響評価ガイダンスでも、比較対象の明確化や、所要時間と成果物の正確性・品質を併せて評価する設計が示されています。自社でも「何分かかったか」と「使える品質か」を同じ記録に残しましょう。
案件の難しさと担当者の条件をそろえる
短い定型資料と、複数資料を突き合わせる難しい案件を一緒にすると、件数の内訳だけで平均時間が変わります。資料量、難易度、担当者の経験、確認基準をそろえるか、区分を付けて別々に集計します。
同じ担当者が同じ資料を2回処理すると、2回目は内容を覚えている分だけ早くなることがあります。別の同程度の案件を使い、可能ならAIあり・なしの実施順を偏らせない方法を取ります。
ツール名、表示されているモデル名、利用日、指示文と手順書の版も残してください。設定や手順を変えた前後は区別します。小規模な前後比較では、慣れや繁忙度の影響を取り除けないため、AIだけによる効果と断定せず、試した条件内の結果として扱います。
入力準備から差し戻しまで記録する測定手順
手順1 従来の作業を実測する
AIを使う前の作業を、記憶による「だいたい30分」だけで済ませず、同じ記録項目で測ります。導入前の記録がなければ、入力が許可された資料で従来手順を再現し、過去の実測ではなく再現テストと記載します。
最初の試行期間は、業務の頻度に合わせて決めます。毎日発生する業務と月1回の業務に、同じ期間や件数を当てはめる必要はありません。通常案件だけでなく、よく起きる例外や差し戻しも確認できる範囲を選びます。
手順2 AIを使う作業を工程別に測る
1案件につき、次の項目を1行にまとめると集計できます。
| 記録項目 | 残す内容 |
|---|---|
| 条件 | 案件ID、担当者、資料量、難易度、利用日、手順の版 |
| 準備 | 資料収集、入力用の整理、許可された範囲への加工 |
| 作成・操作 | 指示の入力、再生成、手作業の作成、操作中の拘束時間 |
| 確認 | 原資料との照合、上司や別担当者による確認 |
| 修正 | その場の書き直し、追加確認、差し戻し後のやり直し |
| 結果 | 合否、重大な誤り、差し戻し回数、不採用・未完了の理由 |
準備や確認を別の社員に頼んだ場合も、その人の時間を含めます。同じ時間を「確認」と「修正」の両方に入れないよう、工程の区切りを決めてください。
手順3 人が使った時間と、完了までの経過時間を分ける
AIの生成待ちが2分あっても、その間に別の仕事ができれば、人の作業工数に2分を丸ごと加えるとは限りません。画面を見ながら待つ必要があれば、その拘束時間を含めます。
一方、依頼から承認までの経過時間には、生成待ちや承認待ちも含まれます。2人が同時に10分作業した場合、人が使った時間は合計20分でも、経過時間は10分です。この2つを混ぜずに測ると、人の負担と納期のどちらが変わったかを説明できます。
手順4 合計とばらつきを見て、失敗も集計する
まず、条件が近い案件同士で総作業工数と品質を比べます。平均だけでなく、件数、中央値、特に時間がかかった案件の理由も確認します。AIを使った案件は、差し戻し率と、従来手順に戻した件数も併記します。
未完了案件は使った時間を記録し、完了した案件と区別して残します。未完了を除いた平均だけを成果として示すと、負担を小さく見せてしまいます。初回の操作練習と、慣れた後の測定も分け、練習にかかった時間自体は導入負担として残してください。
計算例 下書きが早くても、月全体の負担は減るとは限らない
以下は計算方法を示す仮の例です。同程度の社内報告の要約を、それぞれ10件測り、同じ品質基準を満たして完了したとします。
| 1件あたりの平均工数 | 従来 | AIを使用 |
|---|---|---|
| 資料・入力の準備 | 5分 | 8分 |
| 下書き作成・操作 | 20分 | 4分 |
| 確認 | 7分 | 10分 |
| 修正・差し戻し対応 | 3分 | 6分 |
| 合計 | 35分 | 28分 |
作成工程は16分短くなっていますが、全体の短縮は1件7分です。短縮率は、7分を従来の35分で割った20％になります。修正欄は、差し戻しがなかった案件も含めた平均とします。
同じ条件の対象業務が月40件あると仮定すれば、短縮の見込みは280分です。ただし、毎月の相談対応や手順更新に新たに120分かかるなら、差し引きは160分になります。月10件しか発生しなければ、70分の短縮に対して120分の運用負担がかかり、合計50分増えます。
この月次換算は試行結果を使った見込みです。実際の利用件数、案件の難しさ、品質が同じかを翌月に確かめます。研修や初期設定などの一度だけ発生する負担は、毎月の運用と分けて計上してください。
費用対効果を見る場合は、AIツール利用料、外部支援費、導入準備費も含めます。短縮時間に社内の時間単価を掛けた金額は、使える時間の価値を見積もるものです。残業代や外注費が実際に減らない限り、そのまま現金支出の削減額にはなりません。
測定結果から継続・改善・対象変更を判断する
品質を保ち、運用も含めて負担が減るなら継続する
決めた品質基準を満たし、確認者を含めた工数が減り、月次の維持負担も許容できるなら、同じ範囲で継続します。別の担当者や繁忙期でも再現するかを確かめてから対象を広げます。
工数が変わらなくても、納期や品質が改善することはあります。その場合は「時間削減」と言い換えず、当初の目的に照らして費用をかける価値があるかを判断します。
特定の工程だけ増えているなら、原因を絞って直す
入力準備が長いなら、元資料の形式や必要な情報を見直します。確認が長いなら、出力を項目別に分け、どの資料のどこを照合するかを明確にします。修正が多いなら、不採用の理由を分類し、指示文や担当させる範囲を変えます。
一度に複数箇所を変えすぎず、変更内容を残して再測定してください。「何となく使いやすくなった」で終わらせず、増えていた工程の時間と品質がどう変わったかを確認します。
確認できない業務や、負担が上回る業務は対象を変える
次のような場合は、そのまま利用を広げず、業務の一部に限定するか、対象から外します。
- 正誤を判断できる人や、照合できる原資料を用意できない
- 入力情報の利用許可や取扱条件が確認できない
- 発生件数が少なく、準備・運用の負担を回収しにくい
- 重大な誤りが出る、または必要な確認を残すと負担が増える
- 案件ごとの差が大きく、比較できる条件をそろえられない
最後のケースでは、効果がないと断定する前に、対象を定型的な工程まで狭める方法もあります。利用回数を増やすために、安全や品質の確認を省いてはいけません。
効果測定と改善を毎月続けるための相談先
測定表を作っても、記録を集める人、結果を判断する人、手順を直す人が決まっていなければ止まります。次の振り返り日と担当者を決め、前回から変えた内容、結果、次に試すことを短く残しましょう。
社内で条件をそろえ、記録と改善を回せるなら、まず1業務から進められます。兼任担当者だけでは集計や改善まで手が回らない場合や、結果を見ても次の一手を決められない場合は、継続的な支援を検討できます。
AiPHAのAI顧問では、スタンダードで1部署・重点業務1件を対象に、使い方の作成、社員が試した結果の確認と改善、作業時間の変化と利用状況の月次報告を支援します。お客様には作業時間の記録と実務での試行をお願いし、基本設定と日々の運用はお客様が主体です。
スタンダードは月額10万円・税別、初期費用なし、最低契約期間6ヶ月です。外部AIツールの利用料は別途かかります。ライトには効果測定の集計が含まれないため、依頼したい作業に合う範囲を料金・支援内容で確認してください。
「AIを使うと早いはずなのに、現場の負担が減らない」と感じたら、対象業務と、確認・修正で困っている点をお聞かせください。オンライン30分の無料相談で、何を測り、どこから改善するかを一緒に整理します。記録がそろっていない段階でも相談できます。
研修後に利用そのものが止まっている場合は、生成AI研修後に活用が定着しない原因と、1業務からの改善手順も参考にしてください。
