マルチモーダル情報を用いた円滑なコミュニケーション

ちょっとした入力ミスでも計算機に受け付けられなかった、 という苦い思い出をを持っておられる方も多いと思います。 「これくらい、理解してくれたっていいではないか」 という要望に答えるために、 文字情報に加えて、画像情報や音声情報を併用しつつ、 ユーザの行なうことを理解、推定し、 誤りを修正するようなコンピュータコミュニケーションの実現が、 この研究の目的です。

アプローチとしては、 人間の日常的な知識(ヒューリスティックス)を用いる方法と、 複数の個人の信念から整合した事実を論理的に導出することを利用する 定理の自動証明を用いる方法をとっていきます。

日常的な知識を用いる方法の具体的な実現として、 人間の発話に同期した、カメラによる自動撮影があります。 そこでは、例えば、「こちらをご覧ください」、 「あちらの赤い屋根の家をみてください」という言葉を理解し、 カメラの注視点を切り替えます。

定理の自動証明では、発話者と聴衆の人間との共通の理解の場を設けるために、 新しい事実が追加されるたびに、コンピュータの理解内容に矛盾が生じると、 その矛盾を解消するような、知識体系の再構成を行う方法を考えます。

これらのアプローチを利用することで、人の命令を受けて、 自律的に意思決定を行い、行動する、 移動ロボットの開発も進めています。

Back to Research List.