sellwell 
2022年11月にOpenAIが「ChatGPT」の提供を開始しました。
ChatGPTのサービス開始を機に世界中で生成AIへの注目が高まり、日本政府も「広島AIプロセス」や「AI戦略」などによりAIの活用を推進しています。
このような時代背景のなか、次世代のAIとして注目されているのはマルチモーダルAIです。
「マルチモーダルAIって何？」や「今までのAIと何が違うの？」と思う方に向けて、本記事ではマルチモーダルAIの意味や仕組み、メリット・デメリットをわかりやすく解説します。
Contents
マルチモーダルAI（Multimodal AI）とは
マルチモーダルAI（Multimodal AI）とは、複数の種類のデータを一度に処理できるAIのことです。マルチモーダルはマルチ（複数）とモーダル（形式）を組み合わせた用語で、複数の種類のデータを意味します。
マルチモーダルAIで利用するデータの例は以下のとおりです。
- テキスト
- 画像
- 音声
- 動画
- センサーからの情報
反対にシングルモーダルAIは、単一の種類のデータを処理するAIのことです。例えば、テキストのみの情報から文章を生み出す生成AIなどが該当します。
現在の主流はシングルモーダルAIですが、高度な判断やタスク処理ができるとしてマルチモーダルAIの普及が期待されています。
マルチモーダルAIの仕組み
マルチモーダルAIを実現するには、画像・音声・テキストの情報を一度に収集し、それらの情報を統合的に判断する仕組みが必要です。
例えば自動運転技術の場合は、カメラで周囲の情報を検知しますが、カメラだけでは夜間の精度が落ちてしまいます。そこで、各種センサーの情報を組み合わせて総合的に周囲の状況を判断するといった具合です。
これまでのシングルモーダルAIでは、個々の情報の処理に必要な技術や学習の仕方が重要視されていました。具体的には、以下のような技術です。
- ディープラーニング
- 自然言語処理
- 画像処理
- 音声処理
そして、マルチモーダルAIでは上記の技術による情報処理に加えて、統合的に判断する技術が必要です。しかし、異なるデータ間の関係性を統合的に判断する技術の確立は難しく、マルチモーダルAI普及のハードルとなっています。
マルチモーダルAIのメリット・デメリット
次世代のAIとして注目されるマルチモーダルAIのメリット・デメリットは以下のとおりです。
| メリット | ・精度が向上する ・人間に近い判断ができる ・応用力が向上する |
| デメリット | ・AIが仕事を奪う可能性がある ・誤情報を拡散するリスクがある |
マルチモーダルAIの可能性を理解するためにも、メリット・デメリットを押さえておきましょう。
メリット①精度が向上する
マルチモーダルAIは、さまざまな情報を分析して総合的に処理するため、シングルモーダルAIよりも精度が高くなります。
先に紹介したように、自動運転でカメラ以外にさまざまなセンサーを併用するのも精度の向上を目的としているためです。
このように精度が向上することで、AIの担える範囲が拡大すると期待されています。
メリット②人間に近い判断ができる
人間は、視覚や聴覚などの五感から得られた情報を複合的に処理して判断します。一方、マルチモーダルAIも複数の種類のデータから複合的に情報を処理するため、人間の思考方法と似ているといえるでしょう。
そのため、マルチモーダルAIのメリットは、人間に近い判断ができることです。シングルモーダルAIではできない処理も可能になると期待されています。
メリット③応用力が向上する
マルチモーダルAIは組み合わせるデータの種類により、さまざまな判断に活用できます。
例えば、患者のカルテの画像とテキストデータを処理することで、病気の特定や問題のある部位を判断できるでしょう。ほかにも、表情や声のトーン、声量といった情報から、自然なコミュニケーションを図れるAIが登場するかもしれません。
このようにマルチモーダルAIの技術が確立すると、AIの応用力が向上するため、さまざまな分野で活用するケースが増えるでしょう。
デメリット①AIが仕事を奪う可能性がある
マルチモーダルAIはメリットばかりではなく、デメリットもあります。
デメリットの1つは、AIが既存の仕事を奪うことです。
すでに、シングルモーダルAIでも仕事を奪っている現状があります。実際に中国では、ゲームのイラストレーターの仕事がAIに奪われているとのことです。
そのうえ、さらに人間に近い判断ができるマルチモーダルAIが普及すると、より多くの職種でAIが仕事を奪うのではないかと危惧されています。例えば、マルチモーダルAIにより自動運転技術が確立すると、ドライバーの仕事がなくなるかもしれません。
このようにマルチモーダルAIは便利な反面、場合によっては仕事を奪うリスクがあります。
参考：rest of world「AI is already taking video game illustrators’ jobs in China」
デメリット②誤情報を拡散するリスクがある
イラストの作成や記事の執筆などの制作活動は、生成AIを利用することで自動化できるようになりました。そこで、問題となっているのは生成AIが誤情報を作り出してしまうことです。さらにマルチモーダルAIが普及すると精度が向上するため、誤情報かどうかの判断が困難になるでしょう。
つまり、マルチモーダルAIを活用するデメリットは、知らない間に誤情報を拡散してしまうリスクがあることです。
マルチモーダルAIの活躍が期待される分野
現在、マルチモーダルAIはさまざまな分野において研究・開発が進められています。そのなかでも、とくにマルチモーダルAIの活躍が期待される分野を紹介します。
医療分野
まず、マルチモーダルAIが活躍すると期待されるのは医療分野です。
医療分野では患者の病気の診断だけではなく、バイオ医薬品などの創薬、電子医療記録から最適な治療方法の提案などの活用方法があります。医療分野でマルチモーダルAIが活用されると、どの地域においても高度な医療を受けられるようになるため、人類の健康の促進・維持に役立つでしょう。
自動運転
自動運転技術にはマルチモーダルAIが欠かせません。
なぜなら運転は道路状況や天候、歩行者の様子など、確認や判断すべき事項が多いためです。自動運転で一般のドライバーと同じように走行するには、人間と同じように判断できるマルチモーダルAIが不可欠といえます。
セキュリティ分野
マルチモーダルAIが活躍すると期待されているのはセキュリティ分野です。具体的には、防犯カメラの機能の高度化に役立つとされています。
マルチモーダルAIを搭載することで、防犯カメラに写った人物に不審な動きがないかを探知できるのに加えて、音声により異常の有無を確認できるためです。例えば、悲鳴や大きな音を異常として感知することで、トラブルの早期発見につながるでしょう。
マルチモーダルAIはさまざまな分野で期待される技術
マルチモーダルAIは次世代のAIとして注目されている技術です。さらなる業務効率化や適応範囲の拡大などが期待されています。
また、日本の多くの産業では人口減少により人手不足が続くとみられ、AIによる業務効率化は企業にとって優先度の高い検討事項です。競合企業との差別化として新たな技術を早く取り入れたい経営者は、マルチモーダルAIの開発状況に注目してみましょう。