社内AI構築

どちらの方式を選ぶかによります。外部モデルを使う場合、質問と関連文書の一部がそのサービスへ送信されます。オンプレミスLLMはモデルを自社サーバーに置くため文書は外に出ず、使うほど呼び出し費用がかさむこともありません。その代わり初期費用と機器が必要です。文書の機微さと利用量を見て、どちらが適するか一緒に決めます。

間違えうることを前提に作ります。答えだけを出さず、どの文書のどの箇所を根拠にしたかを一緒に示します。人がその場で確認できて初めて実務に使えます。根拠が見つからない場合は作り話をせず、分からないと答えるよう調整します。ここが導入可否を分ける点なので、最初からこの方式で設計します。

始められます。ただし全部は入れません。よく聞かれる質問を十個ほど先に選び、その答えが実際に載っている文書だけを入れてみます。すると、どの文書が役に立ち、どの文書が古いかが見えてきます。多くの場合この過程で整理も一緒に進みます。全部整理してから始めようとすると、始められないことが多いです。

文書を外に出してよいかが最初の分かれ道です。出してよいならチャットボットの方が早く安く始められます。出せないならオンプレミスです。次は利用量です。外部モデルは使うほど呼び出し費用がかかるため、毎日多く使うならある時点からオンプレミスの方が安くなります。相談で文書の性格と想定利用量を見て、その分岐点をお伝えします。