ソーシャルメディアの台頭により、我々は日常的に、ネット上に溢れる無数の画像の好みを瞬間的に判断している。しかし、この今や社会現象化している瞬間的な画像の価値判断メカニズムは、未だ科学的に解明されていない。特に、「写真・絵画などの好みは個人や対象により全く異なるものであり、その美的価値計算には複雑な多数の要素が影響している」という観念が強く、これまでそのメカニズム解明は非常に困難だと思われてきた。
　そこで本研究では、芸術作品などの画像認知・評価を対象にした心理実験を、fMRI（脳イメージング）と斬新な数理モデル、さらに人工知能を用い解析し、芸術作品の認知・価値判断メカニズムを、脳科学の見地から世界に先駆けて解明することを目標とした。
　インターネットで大規模行動実験（被験者約1500人、行動実験被験者がコンピューターの画面に映された絵画などの画像がどのくらい好みであるかを０から３の数字で答える。絵画は一般にあまり知られていないものを1000枚ほど使用した（図１）。）を行い、我々の計算論的モデル（図２）が大衆の画像の好みを普遍的に予測することを示した。具体的には、絵画を視覚低次要素（コントラスト、色など）に分解、さらにそれらを組み合わせて高次要素（善悪、抽象性など）を構築、最後にそれらの要素を統合して価値を計算するという計算論的モデルを構築し、実験で示した（図２）。さらにこのモデルを用いた解析により、大衆の絵画の好みが大きく三つのグループに分かれていることも明らかになった。一番大きい多数派のグループは、印象派や具体性のある絵画を好み、その他の少数派のグループはそれぞれ、シンプルなカラーフィールドなどの絵画を好むか、キュビズムや抽象的な絵画を好むことがわかった。

　さらにfMRI実験では、被験者がMRI装置の中で意思決定を行い、被験者の脳内で視覚情報がいかに「要素」に分解され「価値」に変換されるのかを解明した。視覚野から前頭前皮質へかけて視覚低次要素（コントラスト、色など）から高次要素（善悪、抽象性など）への変換と要素の統合による価値の構築が行われていることを解明した。特に前頭前皮質において、要素が足し合わされて価値が形成されていることが、モデルを用いた解析により明らかになった。
　さらに、画期的な人工知能として注目されているディープニューラルネットワークを用い、人工知能モデル（ディープニューラルネットワーク）が大衆の絵画の好みを予測することを示した。さらに、ディープニューラルネットワークの中で、視覚低次要素から高次要素への変換が行われていることがわかった。これは普段ブラックボックスとされるディープニューラルネットワークが具体的に何をどう計算しているかを明らかにする画期的な結果である。さらに、ディープニューラルネットワークをfMRIの脳内活動のデータと比べることにより、人工知能モデル（ディープニューラルネットワーク）の計算が、実際のfMRI実験で見えた人間の視覚野から前頭前皮質にかけての脳内活動に似ていることも示した。これまでディープニューラルネットワークが脳内の視覚情報の処理にある程度似ている点は指摘されていたが、それが美的価値の形成にまで及ぶことはわからなかった。
　本研究により明らかになった「視覚要素の足し合わせ」というシンプルな「脳内の美的価値計算メカニズム」は、芸術・美学など人文社会学の幅広い分野に強く影響を及ぼすことが期待される。

2020年5月

現職：カリフォルニア工科大学人文社会科学部　ポストドクトラル・フェロー