AI回答の精度を高める

まず結論

AIの誤回答リスクをゼロにはできません。情報源、回答してよい範囲、分からないときの挙動、更新の頻度を決めると、リスクは大きく抑えられます。ゼロ、100%、絶対に間違えない、とは書きません。その言い方自体が誤答です。

WebsiteChatは、接続したウェブサイトの情報を中心に答え、自社サイトの範囲に限定できます。分からないときは無理に埋めず、分からない旨と問い合わせ先を出す運用が望ましいです。会話履歴を見て、足りない説明はページ側で直します。

どんな課題か

• サイトに無いキャンペーンや料金を、それらしい文で言ってしまう
• 隣のサービスと条件を混ぜる
• 古いPDFと新しいページの両方から、矛盾した文を作る
• 不明なのに、丁寧な文章なので正しく見える
• 担当者が直したつもりが、元ページは古いままである

なぜ誤回答が起きるのか

回答精度は、少なくとも次の七つで決まります。モデルを高性能にするだけでは、1と5と6と7は動きません。

1. 元情報の品質。薄い、古い、ページ同士が矛盾している
2. 質問の理解。一つの文に二つの依頼が入っている
3. 検索。質問に近い記載を拾えているか。離れた段落を混ぜていないか
4. 回答の生成。拾った記載を超えて補っていないか
5. 回答範囲の制御。自社サイト以外の一般知識を使っていないか
6. 不明なときの挙動。0件のときに止まれるか
7. 更新頻度。価格改定のあとに再取得しているか

公開情報を探してから答える方式では、検索が外れると、その後の文章がどれだけ自然でも誤りです。これをモデルの性格の問題として扱うと、直す場所を間違えます。

情報源を限定し、元情報を整理する

• 答えてよいURLを決める。採用情報や過去のニュースを、製品の条件と混ぜない
• 同じ事実は一つのページに書く。料金は料金、手順は手順
• 「応相談」「別途」は、条件が無いという意味で残す。AIに数字を作らせない
• PDFを使うなら、文字が取れるファイルにする。上位プランでPDFを知識に加えられます
• 画像の中だけにある表は、ページの文章にも書く

意図、不明、人への引き継ぎ

「それ、対象ですか」は、対象の定義がページに無いと答えられません。確認すべきは相手の属性であって、それらしい業種を当てることではありません。意図が割れないときは、ページにある区分を示して聞き返します。

不明なときは答えない。このルールを、歓迎の文より先に試験してください。WebsiteChatで望ましいのは、分からない旨と、今ある問い合わせ先の案内です。有人担当がすぐに会話へ入る、という約束ではありません。

引き継ぐ質問の例は、クレーム、個別契約、医療・法律・金融の判断、本人確認、ページに無い例外です。

質問ログから直す

1. 誤答を一つ開く
2. どの記載を根拠にしたかを、公開ページ上で探す
3. 記載が無いなら、ページに足すか、その質問を人へ回す
4. 記載が矛盾するなら、残すページを一つにする
5. サイトを再取得し、同じ質問で古い文が消えたか確認する

ログは成績表ではなく、足りない見出しの一覧です。同じ誤答が週に二回なら、モデルではなくその段落を直します。学習の渡し方は、別の記事に手順があります。

向いているケース

• すでに試験導入して、それらしい誤答を一回見ている
• 料金と条件の更新担当がページ側にいる
• 断定してよい範囲と、人が返信する範囲を文章にできる
• サポートかWeb担当が、月に一度ログを見る時間を持てる

向いていないケース

• 誤答ゼロを導入条件にしている
• 正本がメールの個人フォルダにあり、サイトは更新されない
• ページを直す権限が無く、プロンプトの文言だけを変え続ける
• 規制のある助言を、公開ページの範囲を超えて自動化したい

精度のページは、販売やリードの話ではありません。正しい範囲で止まれるかを見るページです。製品の全体はサイト向けAIチャットボットにあります。