動機・目的意識
　深層学習をはじめとする人工知能モデルは、その優れた予測性能から近年社会の広範な領域で応用が進んでいる。一方、近年応用される人工知能モデルは、その多くでモデルの内部が“ブラックボックス”化していると言われ、人工知能モデルがなぜ・どのように帰結や予測を導き出したのか、人間には理解困難な場合が多い。
　こうした事態が生じるひとつの原因には、近年の学習モデルが入力された変数を数回にわたって（高次の）特徴空間に写像することで変数同士の複雑な関係性を学習できること、その結果明示的にジェンダーという変数を入力していなくても、他の入力変数の組み合わせからジェンダーと高い相関を持つ情報をもとに学習モデルを構築しうること、さらに学習されたモデルがブラックボックス化されていることで人工知能がジェンダー情報を活用していることを示すことが困難であること等が考えられる。このような予測結果への説明困難性から、司法判断など高度に公共性が求められる領域や雇用者の選定、ローン貸与の可否など個人の生活に大きな影響を持つ意思決定における人工知能の運用には倫理的な懸念が残り、導入を避けるべきという議論もある。
　これに対し人工知能の研究者たちは、人工知能モデルによる予測の判断基準を人間にとって解釈可能にするための“説明可能なAI(XAI)”と呼ばれる方法論を2015年頃から盛んに研究し、更に広範な領域で人工知能モデルを応用することを目指している。そこで本研究では、科学哲学における“説明”概念を着眼点として、XAIの方法論を調査しその有用性を検討した。

得られた知見[1]
　XAIは、従来からある“明示的な”手法 (例えば、パラメトリックモデルと呼ばれる、予測の対象となる変数と予測精度のために導入される変数との関係性を分析者が明示的な式として与えるモデル)の解釈容易性と、“ブラックボックス”型モデルの高度な予測精度を両立させるため、「反事実仮想的な思考による説明」の概念を巧みに導入していることが明らかになった。

　反事実的仮想による説明は、哲学における「科学的な説明」概念の解明で重要な役割を果たしている(Woodward 2014; In:Stanford Encyclopedia of Philosophy)。XAIにおいても、例えばKoh & Liang(2017; Proc. 34th Int. Conf. ML Vol. 70) では、ある予測モデルy ~ f (x|θ) によって得られた予測結果について、手元のデータに関する汎関数微分を得ることで「仮に、我々の手に入れた教師データの入力値がxxではなくyyであったとしたら」という仮定に基づく予測結果を産出し、最終的な予測結果について「どの変数がどの程度寄与したか」について評価することを可能にしている。このような反事実的な説明に基づくXAIは既に自然科学でも応用されており、例えば高次元データから非線形性や高次相互作用を検出する目的で応用されはじめている。このような分析は、パラメトリックモデルだけでも、“ブラックボックス”モデルだけでも困難であった。

得られた知見[2]
　しかし、倫理的問題や公平性を検討する上で必要になるのは手元にあるデータの反事実的な思考だけではない。そこで本研究では反事実的な思考と並んで重要な見解である「因果としての説明」の観点に着目した。

　例えば、仮に先述の方法で予測結果y ̂に大きく寄与する変数の組み合わせを発見しても、この変数がyの直接的な原因であるがゆえに予測精度向上に寄与しているのか、あるいはその変数が他の重要な因子(例えばジェンダー)と強く相関することが原因で予測精度を向上させているのか、区別することはできない。従って人工知能モデルにおけるバイアスの発見には、モデル“外(現実世界)”における変数間の因果性も、重要な検討課題になると考えられる。

今後の展開
　本研究ではXAIにおける因果性概念について、主に公平性に対する倫理的懸念を念頭に分析した。しかしながら人工知能分野における研究は近年急速に進んでおり、今後数年でXAIを取り巻く状況は劇的に変化する可能性もある。引き続き動向を考察したい。

2020年5月

現職：情報・システム研究機構　データサイエンス共同利用基盤施設　データ同化研究支援センター　特任研究員