マルチモーダルAI

マルチモーダルAIは、文章・画像・音声など、異なる種類の情報を組み合わせて扱います。画像に答えを付けるだけでなく、音声と映像の対応、表と説明文の関係なども対象です。どの情報を入力できるかと、どの情報を出力できるかは別なので、役割を分けて捉えます。

情報ごとに入口が異なる

文章はトークン、画像は画素やパッチ、音声は波形や時間周波数表現などから処理を始めます。画像を言語モデルへ接続する一例では、視覚エンコーダーが特徴列を作り、射影層などの接続部分で言語モデルが利用できる表現へ変換します。LLaVAはこの種の構成を示した研究です。入力の形が異なるため、画像をファイルとして添えただけで、文章専用モデルがその内容を理解できるわけではありません。対応する前処理と学習された接続が必要です。

対応を学び、指示へ応答する

画像と説明文の対応を学ぶ段階と、「左の物体を説明して」といった指示に応答する段階は、目的が異なります。対応付けは異なる種類の情報の関係を学び、指示調整は何を答えるべきかという課題の形式を学びます。学習時に画像エンコーダーを固定するか、一部または全部を更新するかも設計によります。すべての部品が常に一緒に学習されるとは限りません。質問に画像情報が必要な例を含めないと、画像を見ず文章の傾向だけで答える近道も生じます。

解像度と見える範囲を確認する

小さい文字や細い線は、入力画像を縮小する段階で失われることがあります。高解像度の画像を複数の領域に分けて処理する方法では細部を残しやすくなりますが、処理する特徴の量も増えます。例えば一枚の請求書を読むとき、金額欄だけでなく通貨、税、注記が同時に必要です。切り抜きは文字を見やすくしても、表題や列の対応を失うことがあります。見やすさと文脈の両方を保ち、読み取りにくい箇所を推測で補った回答を見分けます。

図表の理解を数値で確かめる

グラフを見る課題では、軸の単位、目盛りの開始点、凡例、対象期間を読み取ることが重要です。棒が二倍の高さに見えても、縦軸が0から始まらないなら、値が二倍とは限りません。物体を数える、左右の位置を答える、微小な違いを探す、といった課題も、画像全体の雰囲気を説明する能力とは異なります。確認できる値は元の表や計算と照合します。画像中の文章が命令のように書かれていても、利用者からの操作許可とは区別して扱います。

読むべき画像が複数あるなら、どの画像のどの部分を根拠にしたかも区別します。似た表を取り違えると、数字そのものを正しく読んでも回答は誤ります。画面に見えている値、計算して求めた値、推測した内容を分けると確認しやすくなります。

入力能力と生成能力は別

画像を読んで文章で答えるモデルが、画像を描く機能まで持つとは限りません。音声を聞けるモデルでも音声の生成には別の構成が必要な場合があります。統合されたモデルでも、学習データや評価が豊富な種類と、十分でない種類があります。したがって「マルチモーダル」という名前だけで、医療画像の診断、精密な図面の読解、雑音の多い会話の識別などを一括して保証することはできません。用途ごとに入力条件と失敗例を揃えて、必要な精度を確かめます。

関連項目