中小企業のAI社員・業務自動化と、仕組みの修理。

AIの答えを、別のAIに点検させる——留守電の見本で試したこと

AIに留守電の要点をまとめさせると、たいていはうまくいきます。ただ、同じ指示で何度か動かすと、ときどき外れます。

この記事では、架空の留守電3件で試したことを、そのまま書きます。

1回目:AIに任せきりにした

社内のパソコン(Mac)の上だけで動くAIに、留守電の文字起こしを渡しました。頼んだのは、聞き違いの直し・要点・やること・急ぎ度の4つです。

社名の聞き違い(「緑工業」→「みどり工業」)は、ほぼ毎回直せました。一方で、3回動かすと次のような外れが混じりました。

  • 「今朝お願いした見積もり」を「昨日依頼した見積もり」と書いた
  • 「支給見ていただけますか」の「支給」を「出向いて」と読み替えた(正しくは「至急」)
  • 翌日午前までの依頼を「至急」と判定した

1件ずつ見れば、もっともらしい文です。読む人が元の留守電を聞かなければ、気づきにくい外れです。

2回目:作る役と点検する役を分けた

次に、AIを2つの役に分けました。

  1. 作る役:留守電を整えます。
  2. 点検する役:別のAIが、「日時は留守電と同じか」「社名は取引先の台帳どおりか」「やることは当社の担当者の仕事になっているか」など、6つの点を1つずつ確かめます。

落ちた点があれば、その点だけを作る役に直させます。どちらも社内のパソコンの上で動くので、留守電を外へ送ることはありません。

点検する役は、わざと間違えた答え3件を、すべて不合格にできることを先に確かめてから使いました。

結果:2件は点検を通り、1件は人に回った

3件のうち2件は、1回目で点検に通りました。日付の取り違えや「出向いて」の読み替えは出ませんでした。

残る1件は、内容は正しかったものの、点検する役が「連絡の手段が留守電と合っているか」で迷いました。留守電では、電話かどうかがはっきり言われていなかったためです。迷ったものは確定させず、人が留守電と照らして通しました。

AIに全部を任せるのではなく、点検で迷ったものだけを人が見る。これで、人が見る量は減らしつつ、外れをそのまま流さずに済みます。

この記事の範囲

  • 架空の留守電3件で試した結果です。件数が少ないので、確率の話はしていません。
  • 点検する役の選び方にも差があります。社内での別の計測では、軽いAIを点検役にすると、外れをそのまま通してしまうことが多くありました。
  • 実際の導入では、御社の取引先や言い回しに合わせて、点検の項目を決めます。

試した留守電は、動く見本の「電話(留守電)の取り込み」で、音声と各段の結果をご覧いただけます。電話の取り込みは、受付の商品では別料金の追加です。条件は料金のページをご覧ください。

記事一覧へ戻る