図3.8-1 感性工房の実現イメージ
3.8 感性メディア技術の現状と今後の課題
3.8.1 はじめに
オフィスや家庭をはじめとして、人間が働き、学び、遊び、休息するさまざまな場面に情報化の波が押し寄せており、工業社会から情報化社会への移行が急速に進んでいる。
情報システムについて考えるならば、いかなる立場、年齢、状況のユーザに対しても、情報洪水から守りながら、同時に、情報化社会における多様なサービスを享受可能とするユーザ主導型の柔軟なシステムが必要となってきた。従来の社会生活の常識があれば十分に扱えるような人間中心の情報環境の構築が、高度情報化により社会を真に豊かにするための条件である。このような情報環境が実現すれば、情報システムを適切に扱えない人が情報技術の進歩のみならず勤労の機会や社会的な豊かさから取り残されるといった問題（ディジタルディバイド）の解決につながるであろう。
人間中心の情報環境を支える基盤技術として、筆者は感性メディア技術の基本コンセプトを提案し、情報処理技術の観点、データベース技術の観点、そしてこれからの産業として重要なコミュニケーション技術の観点から、基盤技術に求められる要件を分析し、自身でも研究開発に取り組んできた。
ここ数年間、ヒューマンメディア技術、感性工学など、感性メディア技術と密接に関連した人間主導型の情報技術への取り組みが活発になってきている。1996年度より5年計画で進められている通産省工業技術院の産業科学技術研究開発プロジェクト「ヒューマンメディア」も最終年度を残すのみで、研究開発が佳境に入りつつある。また、1998年度には日本感性工学会が日本学術会議第５部材料工学研連の下に組織され、韓国の感性科学会とも連携をとりながらアジア発の科学技術を展開しようと活動を開始した。
本章では、感性メディア技術の到達点をふまえつつ、具体的な研究開発事例としてヒューマンメディアプロジェクトを取り上げ、その成果と産業・国民生活への波及効果を分析・評価する。また、この分析・評価をふまえて、人間中心型情報技術の到達点と今後の課題をさぐる。
3.8.2 感性メディア技術
3.8.2.1 感性メディア技術とは
社会の高度情報化が急速に進み、人間を中心とした情報環境構築の必要性はますます高まっている。近年、コンピュータのハードウェアの性能向上は目を見張るものがあるが、その性能向上が、必ずしも人間中心の情報環境の構築には寄与していない。例えば、ヒューマンインタフェースの技術として、1980年代にウィンドウ、アイコン、メニュー、マウスが連動するGUI
（Graphical User Interface）が登場して十数年たつが、インタフェースはむしろ複雑化・ブラックボックス化しており、使い勝手は必ずしもよくなっていない。このような問題を放置するならば、社会の高度情報化や最近話題となっている高齢化の同時進行は、適切に情報システムを扱えないために情報サービスの恩恵にあずかれない人、いわゆる情報弱者を多く生み出し、新しい社会的格差（ディジタルディバイド）を拡大することが懸念される。
人間を中心にした情報環境を構築するためには、
等を実現する必要がある。これによって、普通の人間にとって、扱える情報が飛躍的に増大し、高度化・複雑化している情報機器やシステムも扱いやすいものとなる。その結果、人間の創造的活動に寄与するものとなる。
人間中心の情報環境で扱う情報には、従来の情報環境が扱っていた論理的・記号的情報だけでなく、人間の感性に訴える情緒的な情報、および、五感に直接感じることができる物理的な情報を含める必要がある。感性メディア技術とは、このような情報の内、人間の感受性、嗜好性等を対象とした情報技術である。
ヒューマンメディア技術は、次の３つの観点からのマルチメディア技術・マルチモーダル技術の高度化と融合を目指すものである。
通産省工業技術院のヒューマンメディアプロジェクトは、感性メディア・仮想メディア・知識メディアを核とした新しいマルチメディア技術を、人間を中心として高度化し、融合化する研究開発である。ヒューマンメディア情報環境の構築自体は、長期的視点にたった研究である。しかし、本プロジェクトは、その中で実問題をとりあげて短期的な成果をあげることにより、具体的なヒューマンメディアのイメージを明らかにすることを目指している。
3.8.2.2 感性工房 −感性メディアの実問題−
本章では、感性メディアの特性が特徴的に現れる実問題として「感性工房」の研究開発を取り上げて紹介する。感性工房（図3.8-1）は、感性メディア技術に力点を置いた人間中心型の情報環境の一例である。
感性工房の開発成果の実用化イメージとしては、工業デザインに代表される知的、感性的、創造的な共同作業の工程（資料の収集・分析・整理、作業者間の意志疎通、デザインのプランニングなど）を支援する情報システムが想定される。工業デザイン支援として、感性的検索機能を有するマルチメディアデータベースの提供を可能とする。また、デザインに携わる作業者の言葉の使い方、着眼点、イメージしている形状等の相違を直感的かつ的確に提示し意志疎通の支援を可能とする。これらにより、デザイナーの作業負担の軽減を図る。
中期的には、消費者参加型の「一品種一生産」のイージーオーダーシステムへの展開、長期的には、マーケティングから商品企画・設計・発注・製造までの全工程を電子化するCALSの中核的なシステムとしての利用も考えられる。
図3.8-1 感性工房の実現イメージ
感性工房の成果は、直接的には、公共的な情報提供サービスや、カタログショッピングなどのインターネットビジネス、工業製品やアパレル製品の設計・デザインへの応用が考えられる。より広範には、教育産業、医療福祉産業、アミューズメント産業での商品企画と設計などの様々な場面への応用も可能と考えられる。
このような感性工房を実現するためには、マルチメディアデータの感性検索が可能な新しいデータベースの開発と、共同作業に適したヒューマンインタフェースの開発が必要である。
そのため、感性工房の研究開発では、データに対する主観的な解釈の分析から感性の工学的モデルを構築し、データと感性モデルを統合的に管理するための新しいデータベース構成技術を開発すると共に、感性モデルによる例示検索・類似検索・感性検索等の検索機能を開発している。また、これらの機能を直感的に利用し結果を把握できるようなヒューマンインタフェースの開発に着手している。図3.8-2に感性工房のシステム構成を示す。
図3.8-2 感性工房のシステム構成
3.8.2.3 感性メディア技術
「感性」というとらえどころのない、しかし、物や情報に付加価値を与えるという点では非常に重要な概念が、情報技術の新しいキーコンセプトとなってきた。データベース技術は、本来、大量の情報をたくさんの人達で共有し、また、利用するために発達してきた。そして論理的なあいまい性のない、技術の枠組みが確立されてきた。しかし、データベースのコンテンツが，「人名・年齢・給料」などのいわゆる無味乾燥な文字・数値データから、受け手へのメッセージの伝達を目的とした「音声・音楽・写真・映像」などのマルチメディアデータに急速に拡大されてきた。そのため、データベース利用者の感性的な視点に適合するような、新しい技術の枠組みが必要となってきたのである。
3.8.2.3.1 感性メディア技術における「感性」
一人ひとりの顔が違うように、私たちは一人ひとり異なった感性を持っている．情報（文章であったり声であったり映像であったり、また、これらが組み合わされたマルチメディアメッセージであったりする）を受けて、どのように感じるか、どのように判断するか、そして、それをどのように人に伝えるのかに、それぞれの人の感性の違いが現れる。また、一人ひとりの人間ではなく、ある年齢層の人達（例えば「若い世代の人達」「団塊の世代」）や、共通の経験を持つ人達（例えば「帰国子女」「キャリアウーマン」）や、共通の趣味を持つ人達（例えば「ジャズ」「クラシック」）に感性の共通点を見出すこともできる。さらには、「日本文化」「英国文化」「フランス文化」のように、民族性・国民性の中に、感性の相違点を見出すこともできる。
日常語として用いられる「感性」は様々な文脈の中で様々な意味合いで使われる。はじめに、どの視点から「感性」を論じるのかを峻別する必要があろう。 例えば、芸術・文化・人文科学における感性は、「感動する心、また、感動を生みださせる匠の技」である。作者は，作者の心の中にある「思い」を作品という形で適確に表現するために感性を活用し、鑑賞者は、鑑賞者自身の感性に基づいて、その作品から作者の「思い」を理解しようとし、あるいは、新たな解釈を与えようとする。このような意味での感性は、永遠に解明されえない人間の特質と言えよう．
しかしその一方で、生活産業・サービス産業の対象としての感性は、「消費者である個人個人の嗜好から、ある年齢層の人々の嗜好、さらには、貿易相手国の文化的な嗜好までを対象に、商品に付加価値を与えるもの」である。感性は、ビジネスに多大な影響を与えうる、商品を差別化する指標とも言える。このような意味での感性は、マーケティングにおける嗜好の分析・商品企画などの場面で、統計的な分析・処理の対象とされるようになってきた。
情報提供サービスなどの情報産業の対象としての感性は、「情報提供サービスの品質を表すメトリック」と考えられる。品質の良いサービスを提供するためには、利用者の主観的な意図を正確に理解し、これにマッチした情報処理を行う必要があるからである。
人間が外界の情報に対して主観的かつ直感的に示す価値判断や、取捨選択の際の評価尺度、また、人間がイメージする心象を具体的に形のあるものにして表現する際の表現の仕方に、人間の感性が反映されていると考えられる。利用者の主観的な意図を正確に理解し、必要な情報を適確に細大漏らさず提供するためには、このような利用者の感性をモデル化して情報提供サービスの情報処理の過程に適応的に組み込めるような仕組みが必要となる。感性は、これからの情報技術の基礎となる重要な概念の一つなのである。
感性を対象とした情報処理の目的を整理してみよう。
第一の目的は、人間が感性を発揮するのを支援することである。1970年代以降、電子回路や計算機を組み込んだ電子楽器・電子伴奏装置、種々の視覚効果を与えるレタッチ手法を用意した描画ソフトウェアのように、演奏や創作などの人間の感性的な行動を支援するシステムが開発され利用されてきている。このような人間の感性を強化する情報処理の仕組み（Kansei
Amplifier, Enhanced Kansei）を用いることで，芸術家でなくても上手に曲を演奏・合奏したり、ビジュアルな作品を制作できる。ここで，感性を発揮し感性を理解する主体は人間である。人間にとっての使い易さ・楽しさ・満足感を提供することに、情報処理技術の主眼がある。
第二の目的は、人間の感性を理解するとともに、人間の感性にマッチした情報を提供することである。1980年代後半より、情報のマルチメディア化が急速に進み、また、1990年代からのインターネットの普及により情報機器や情報サービスの利用者層が大きく拡大した。これにより、直感的な情報機器の操作やコミュニケーションのニーズが高まってきている。このようなニーズに応えるために、1990年代後半より、人間（個人または複数人）が絵画や音楽などのコンテンツを主観的かつ直感的に解釈し評価する際や、絵画や音楽などのコンテンツを創作する際に示す感性的な特性を、統計的にモデル化し、感性的な状態を推定したり再現する試みが始まった。人間の持つ知能・知識の一部を計算機で代行する人工知能（Artificial
Intelligence）に対して、人間の感性の一部を計算機でシミュレーションする人工感性（Artificial Kansei）といえる。人間の感性の構造を探るとともに、これを工学的に実現することが、人工感性の主眼である。
3.8.2.3.2 感性モデル化の枠組みの研究
感性のモデル化とは、一人ひとりの利用者（あるいは、年齢層が同じ利用者グループなどを対象とする場合もある）について、人間がイメージする心象と、外界の情報・コンテンツ・物との間の対応関係・相関関係を発見・解明して工学的に表現し、第三者によるシミュレーションを可能にすることである。
図3.8-3に、ヒューマンメディアプロジェクトで提案・開発されている感性の工学的なモデルの枠組みを示す。
図3.8-3 感性の構造の工学的モデル
（相互作用性，階層性，マルチモーダル性が内在する）
ヒューマンメディアプロジェクトでは、1996年度以来、種々の画像・３次元物体を対象に、「画像や物体の物理的客観的な特徴と、これを見た人間の主観的な評価との間の統計的な相関関係」に注目し、人間の初期視覚を模擬した特徴抽出法、部分的・断片的な教示からその人の主観的な評価の特性を推定する技術、相関関係を利用した感性検索法などの基本的な枠組みが開発された。
これにより、新たなコンテンツを対象に内容検索（例示検索・類似検索・感性検索）が可能なマルチメディアデータベースを構築するための、一般的枠組みが明らかになった。これらの成果は、国際的にも感性データベースの先駆的な研究として認識されている。
1986年から電子技術総合研究所で試作されていた電子美術館ART MUSEUMシステムでの感性分析・感性検索のアイデアを拡張し、ヒューマンメディアプロジェクトでは、様々なフルカラー写真（自然画像）やテクスチャ画像、都市景観画像などを対象に、画像の色彩と空間的な隣接関係に関する画像特徴と、主観的なイメージ語表現との統計的な相関関係を分析する仕組みを高度化した。具体的には、感性検索の試行毎に、追加学習を行うアルゴリズムを開発した。検索結果が主観評価に合わない場合、利用者は主観的な表現をシステムに教示する。システムは、その画像が既学習であれば、その画像に与えた主観的表現を置き換える。学習画像でない場合は、これを新たに学習画像に追加し、統合特徴空間を再構成する。
これにより、システムに登録した感性モデルを段階的に一人一人の利用者の主観的評価基準に適合化させることができると共に、評価基準の経時変化にも柔軟に対応させることができる。これは、平均的な利用者のモデルから、特定の利用者のモデルを利用者に負担無く構築するメカニズムとしても利用できる。
このアルゴリズムを実証するために、インターネット上で運用・評価実験が行われている。現在に至るまでインターネット上で、個々の利用者の感性モデルを構築し、主観的なイメージ語表現から画像を検索するシステムは、この研究以外には公開されていない。またこのシステムは、様々なプロファイルを持つ利用者の平均的な感性モデルを構築するためのデータ収集としても利用されている。
これらの研究を通じて、多数のイメージ語は比較的少数のイメージ語のクラスに分類できること、各イメージ語のクラスと特定の画像特徴量との相関関係が極めて良いこと、このような分類や相関関係は被験者（利用者）のプロファイルの違いによって変化することが明らかになった。
これらの仕組みにより、画像をキーに、類似した画像を検索する、例示検索・類似検索や、主観的なイメージ語をキーに、それに適した画像を検索する感性検索も、統一的な枠組みで実現されるようになった。さらにこのアイデアを応用すると、主観的なイメージ語を「媒介変数」とすることにより、あるメディアのコンテンツ（例：絵画）をキーとして与えられると、そのデータを表現するイメージ語の組合わせを推定し、次いで、それらのイメージ語にマッチする異なった種類のコンテンツのデータ（例：都市景観、テクスチャなど）を検索するような、複数のコンテンツにまたがったマルチメディアの類似検索や感性検索機能も実現できる。
3.8.2.3.3 ３次元物体への対象の拡張
ヒューマンメディアプロジェクトでは、対象を２次元画像から３次元物体に拡張して、例示検索・類似検索のアルゴリズム開発も進められた（図3.8-4）。
図3.8-4 ３次元物体モデルの表現法（面表示、ワイヤーフレーム表示、頂点表示）
物体を対象にした例示検索の要件を分析し、多面体近似した物体の頂点密度に注目した特徴量と、特徴空間上でのユークリッド距離を利用した例示検索法を考案した。また、インターネット上のVRMLで記述された情報資源や、３次元CADで作成されたデータを有効に利用するために、三面図のどの面を正面にしても回転に対して不変な頂点密度の特徴量に取り組んでいる。多少の識別の能力は落ちるが、データの次元数を大幅に圧縮しつつ、実際上はそれほど精度の落ちない特徴量を開発した。
これにより、種々雑多に集められた物体データからなるデータベースに対しても、自動的に例示検索機能を実現できるようになった。
またこのメカニズムは、物体の外見的な特徴から自動的に分類（例：イス、ソファ、机、テーブルなど）するので、データベースを分割し、検索時間を高速化するうえでも有効である。同時に、類似度学習のために代表的なサンプルを自動的に抽出する手法としても利用できる。図3.8-5に、ある「ひじ掛けイス」や「長イス」をキーとして、例示検索した例を示す。
図3.8-5 ３次元物体の例示検索の例
個々の利用者が持つ主観的な類似度の基準を学習し類似検索に利用するために、代表的なサンプルの対に類似度を教示するためのインタフェースを試作すると共に、主成分分析・多次元尺度法を応用した主観的な類似度の学習法を考案した。これは、個々の利用者が、３次元物体のどの部分に注目して類似性を判断しているかをモデル化するものである。
図3.8-6 ３次元物体モデルの類似検索
（二人の利用者のモデルで類似検索）
電子技術総合研究所のOGDENでは，データベースから選んだ10％程度の学習用サンプルの集合に対し、利用者は、各データ対に類似度を10段階評価で与えている（結果は、類似度行列として得られる）。多次元尺度法により主観特徴空間を構成する。図3.8-6は、各ウィンドウの左上のイスが例示した物体である。同じように物体（この場合はイス）を見ながらも、どのような部分、どのような特徴に注目して判断しているのかの違いが、両者の検索結果の違いに現れている。
このような３次元物体を対象とした例示検索・類似検索システムは、世界でも始めての試みであり、本研究に刺激されで、例えばカナダNRCでも、３次元物体の例示検索システムの研究が行われるようになった。
3.8.2.4 仮想メディア技術
3.8.2.4.1 多次元インタフェース技術
バーチャルリアリティによって構成した仮想空間をヒューマンインタフェースに利用する観点としては、新しいインタフェース空間とメタファーの提供、および、インタフェースの多次元化が挙げられる。
前者に関しては残念ながら、ヒューマンメディアプロジェクトに限らず、見るべきものは少ない。メタファーの設計には、バーチャルリアリティ技術の開発のみならず、個々のアプリケーションに合わせて、利用者自身による評価も踏まえながら、情報技術・人間工学・デザイン工学などの各分野のアイデアを集成する必要がある。バーチャルリアリティ技術に関しては、種々の入出力デバイスの一部が利用可能になった段階であり、これから利用技術の積み重ねを進めていく必要があろう。
後者（インタフェースの多次元化）に関しては、UNIXのファイルシステムや情報検索システムでの検索結果の多次元表示法などが、1990年頃から主として欧米で試みられてきている。従来の「狭い視野」「一覧表」的な情報の提示の仕方から、種々のデータやデータ間の関係を広い範囲にわたって一覧性良く仮想空間上に配置する提示の仕方に移行しつつある。
ヒューマンメディアプロジェクトにおいても、仮想空間を利用した感性モデルの可視化技術が開発されている。これは、主観的な類似度が３次元空間上の距離に相当するように、仮想空間を自動的に構成するものである。これに基づき、印象語などの概念語間、家具などのコンテンツ間、概念語とコンテンツ間の関係を、デザイナー等の利用者が空間的・直感的に観察し、理解できるように３次元の仮想空間上に可視化して提示する手法が開発された。
これらの手法により、感性工房プロトタイプシステムの上で、デザイナーと顧客が、それぞれのイメージするものの違いやイメージ語の使い方の違いを、直感的に理解できるようになった。人間同士のコミュニケーション・相互理解を支援する手法として利用できる。
図3.8-7 二人の利用者それぞれの感性モデルの可視化と着目点の違いの対比
図3.8-7に、３次元物体モデルに関する主観的な類似度のモデル（感性モデル）を可視化した例を示す。同じイスやソファーを対象としながらも、どの部位のどのような特徴に注目して「類似・非類似」を判断しているかの違いを、他人が伺うことが出来る。このように、主観特徴空間は、感性の構造を可視化したり、人による感性の違いを対比させて理解する道具としても利用できる。
3.8.2.4.2 画像の高精度提示の基礎技術
マルチメディアデータベースの基盤技術の一つとして、明暗や色彩のコントラストの悪い画像を加工してデータベースに格納、あるいは、利用者に提供する技術が挙げられる。このような画像強調技術は、長い歴史を持ち、暗い目の画像や明るい目の画像など、それぞれの対象の性質に合わせて、目的別に、輝度や色調を補正するアルゴリズムが開発されていた。
電子技術総合研究所は、神経系における側抑制回路の工学的意味を解明し、マッハバンド・ハーマングリッド錯視・残像などの視覚生理現象を工学的に説明し、再現することに成功した。同時に、凸版印刷と共同で、このメカニズムに基づく、側抑制に基づくコントラスト改善による画像強調の自動的・適応的なアルゴリズムを開発した。
側抑制はON-center回路は明るさの強調、OFF-center回路は暗さの強調の線形加算と考えることにより、背景の明るさ（暗さ）に適応的に輝度の変化を強調する変換回路を構成できる。この変換の曲線は逆Ｓ字型となり、人間の視細胞のＳ字型応答特性として知られている性質（暗すぎても明るすぎても、輝度の変化を知覚できない。中くらいの明るさの場合のみ、輝度の変化を知覚できる。）を補正する役割を果たすことがわかった。信号の輝度と背景の輝度の差に合わせて自動的に強調の度合いを変化させると、ガンマ補正のようなヒューリスティックを用いることなく、完全に自動的に、与えられた画像に対して（準）最適なコントラスト強調画像を生成することができる（図3.8-8、図3.8-9に考え方の概要を示す）。
図3.8-8 側抑制回路（逆Ｓ字型変換）の役割
図3.8-9 逆Ｓ字型変換の制御方式
図3.8-10 カラー画像のコントラスト改善例
原画像の色調を壊すことなく、明部・暗部でのコントラストを改善している。
従来の画像強調手法は、画像の輝度の分布などの統計的性質にのみ依拠していたため、不自然で違和感のある結果が得られることも多かった。また、輝度の対比を強調すれば色調が不自然になる場合が多かった。本手法は、生理学的にも裏付けのある画像強調手法としても有効であること、従って、どのような画像に対しても安定な結果を期待できる。本手法により、画像の内容によらずに、単一のメカニズム（＝並列処理ハードウェア化容易）で自動的・適応的に、かつ、違和感なく、輝度や色彩のコントラストを改善することが可能となった（図3.8-10）。
3.8.2.5 知識メディア技術
人間中心型の情報システムでは、個々の利用者のもつ知識・興味や、主観的な感性などのモデルを、利用者に心理的な負担無く構築し、データベースなどの基盤的なシステムに組み込めるようにする必要がある。
ヒューマンメディアプロジェクトでは、データベースシステムのための知的かつ感性的なインタフェースを実現するメカニズムとして、複数のエージェントを利用した複合コンテンツ検索技術、及び、感性モデル構築・利用技術の研究を進めた。
インターネット対応のインタフェースエージェント技術として、利用者が単一のインタフェースを操作するだけで、複数のデータベースサーバーを統合的に利用できるような統合検索サービスの技術を開発した。インタフェースエージェントが、インターネット上の複数のデータベースシステムや検索エンジンの所在とその論理構造の違いを踏まえて、利用者からの検索質問を適切な形式に変換し、各データベースシステムや検索エンジンに発信する。これらからの表記形式の異なる回答を、内容レベルで統合整理して、利用者に回答する。これにより、利用者は、単一のインタフェースを操作するだけで、インターネット上の複数のサーチエンジンから、各サーバーのコンテンツ・内部仕様の違いを意識することなく統合的にコンテンツを検索できるようになった。このような技術の実証システムとして、インターネット上の図書購入システムMaxwellのプロトタイピングをした。これらの成果は、国際的にも注目され数十のサイトにダウンロードされて試用されている。
また、感性モデル構築・利用システム(K-DIME)として、ユーザインタフェース上でのグラフィックな操作を通して、風景写真などの自然画像に対する利用者の主観的な知覚過程の特徴（例：色彩特徴とイメージ語の対応関係）を半自動的にモデル化するマルチエージェントメカニズムを開発し、プロトタイピングした。
現在は、感性モデル化のエージェントとインタフェースエージェントの統合に着手している。MaxwellとK-DIMEを統合することにより、インターネット上の複数のサーチエンジン（キャプション中のキーワードなどを手がかりに検索）に検索質問を平行して送り、検索された画像に対して、さらに、感性モデルを利用したフィルタリングを適用し、より利用者の感性にマッチした画像を検索するシステムK-DIMEを試作し、インターネット上で公開している。（図3.8-11）
図3.8-11 マルチエージェントシステムを利用したインターネット上での画像検索
図3.8-11では、客観的なキーワード（Hawaii）を指定して複数の画像サーチエンジンを利用。この検索結果に対して、主観的なキーワード（fresh）を指定して、感性モデルに基づいて画像をフィルタリング。以上の過程を自動的に行った。一方、図3.8-12では、客観的なキーワード（Hawaii）を指定して画像サーチエンジンを利用した。もし、これにFreshを客観的なキーワードとして加えると、意図する画像はほとんど検索できないことに注意されたい。
図3.8-12 インターネット上での画像検索（参考）
3.8.3 感性メディア技術の今後の展開
感性情報処理技術のここ数年の進展を見ると、前節で紹介した感性の工学的なモデル化は、一つの集大成されたフレームワークと言って良いであろう。ヒューマンメディアプロジェクト以外にも、感性情報処理を取り込んだ試作システム、実システムが発表されているが、その違いは、対象とするコンテンツの違いによる特徴パラメータの設計法の違い、あるいは、統計的な学習を行う際の学習アルゴリズムの違いであって、基本的なアイデアは同じであると言える。
個別の種類のメディア、個別の種類のコンテンツを対象とした感性情報処理技術は、基礎研究の段階から、精度や効率が重視される応用研究・実用研究の段階に移行したと言える。
では、主要な問題は解決したのか？実は、基礎研究レベルでは、むしろ停滞の段階にあるのではないかと危惧もされる。本節でははじめに、感性メディア技術の研究開発が直面している問題点を整理し、次いで、未だに解決していない、しかし、応用研究・実用研究には不可欠な技術課題を以下に示す。
3.8.3.1 感性メディア技術の研究開発の問題点
1980年代の中期、いわゆる「人工知能ブーム」が起こり、演繹推論などの論理学、ニューラルネットワークなどの非線形学習など、知識の記述や、推論、学習のための種々のアルゴリズムが華々しく提案された。しかし、実用化という面ではオモチャの域を出ず、「強いAI、弱いAI」の議論とともに、研究は下火になった。
その背景には、「人間の知能」に関する知見が深まらないまま、「知能を模倣」する上での基本原理を確立できなかったこと、また、現実規模の複雑性を持ったアプリケーション〔実問題〕への取り組みが必ずしも十分ではなかったこと等がある。しかし、ブームの後の地味な研究の積み重ねで、エキスパートシステムなど数々の技術が実用化され、現実のシステムで利用されるようになってきた。
1990年代の中期、今度は「感性工学ブーム」が起こり、多変量解析、ニューラルネットワーク、カオス、遺伝的アルゴリズムなど、感性のモデル化や学習、シミュレーションのための種々のアルゴリズムが提案されるようになった。しかし、十年前に人工知能ブームがたどったのと同じように、研究としては下火に向かいつつあるのではないかと危惧される。
その背景には、「人間の感性」に関する知見が深まらないまま、「はじめにシーズ〔方法論〕ありき」で「感性を模倣」する上での基本原理を確立できていないこと、現実に感性を必要とするキラーアプリケーション〔実問題〕を発見しえないでいること、また、現実規模の複雑性を持ったアプリケーション〔実問題〕への取り組みが必ずしも十分ではないこと等がある。今こそ、地に足のついた研究開発、産業や生活と結びついた研究開発が求められている。
3.8.3.2 感性メディア技術の課題
3.8.3.1.1 ヒューマンファクター
利用者の感性をシステムに教示するためには、主観的な基準そのものの数量化法を工夫するとともに，利用者に心理的な負担の少ない教示法を設計するべきである。
例えば、全ての（あるいは、かなりの数の）画像データの対に主観的な類似度を与えるのは、統計的な分析アルゴリズムの上からは正確さが期待できるが、実際には適用できない。利用者（＝被験者、回答者）が、それらの膨大なデータに対して、最初から最後まで矛盾無く同じ基準で回答し続けることなど不可能だからである。電子技術総合研究所のTRADEMARKやART
MUSEUMでは、母集団（つまりデータベース全体）の画像データの画像特徴量の分布を調べ、少ない数で代表的な傾向がカバーされるように注意深く教示用のサンプルを選んでいる。
また、一時に大量の教示用のデータを得て分析するのではなく、利用者の主観に適合するまでの時間を多少犠牲にしても、心理的に負担の少ない方法で、教示データを収集するなどの工夫も必要である。例えば、利用者が毎回の検索でどのような事後評価をしたかなどの情報をログとして収集しておき、これがある程度たまったところで、分析に利用するなどが考えられよう。
このような技術課題のブレークスルーにより、きわめて簡便に、様々な利用者を対象に、様々な仕事の場・生活の場での情報サービスに、感性メディア技術を組み込むことができるようになり、人間中心型の情報環境が身近なものとなる。
3.8.3.1.2 マルチモーダルな相互作用
感性の工学的なモデルの枠組みでは、感性の構造のマルチモーダル性が指摘されているが、このようなマルチモーダル性に明示的に対応した感性のモデル化のアルゴリズムは、未だ、開発されていない。
例えば、動く物体を写したビデオなどを考えると、物体の形状、物体の質感、物体の動き、ビデオに付けられたBGMを，人間は同時に受容して、シーンを総合的に知覚していると考えられる。このような「形状」「質感」「動き」「音楽」の情報は、視聴覚のそれぞれ別々のチャネルで受容され、最後まで独立に認知されるのではない。生理的レベル・心理的レベル・認知的レベルでは、相互に影響しあっているのである。視聴覚の個々のチャネルでの統計的な分析をおこない、これを組み合わせるという、要素還元論的な手法では、感性のマルチモーダル性を解明することは難しい。
現時点の感性のモデル化の方法論では、これらの組み合わせをカバーする十分な数のサンプルを用意して、全体として分析するほかない。マルチモーダル性を陽に扱うことのできる感性のモデル化の方法論の確立が望まれる。
このような技術課題のブレークスルーにより、より複雑な対象（例：種々のオブジェクトから構成される都市環境、室内のインテリア、マルチメディアプレゼンテーションなど）の設計・コーディネーションが、トップダウン的に行えるようになる。人間の直感的な判断は、細かい分析の積み重ねではなく、全体イメージに対するトップダウン的な解釈から始まっていると考えられる。このような感性のマルチモーダリティ（すなわち、感性のコーディネーション）は、感性情報処理の概念そのものを特徴づける重要な課題である。
3.8.3.1.3 知覚感性と創出感性の相互作用
感性の工学的なモデルの枠組みでは，知覚感性と創出感性の相互作用も指摘されているが、このような感性の相互作用性に明示的に対応した感性のモデル化のアルゴリズムも、未だ、開発されていない。リアルタイム性の重視される音楽の演奏支援、ジャムセッション支援を題材に、音楽の分野で試みが始まっている段階である。
知覚過程と創出過程で、主観的なイメージや意図はどのように表現し、どのように構造化すればよいのか？ 研究はまだ緒についた段階である。ヒューマンインタフェース自身を知的、感性的にして、日々成長する（あるいは日々経験を積む）利用者と共に進化するインタフェースを構築する上で、大きなブレークスルーの求められる技術課題である。