はじめに

戦略技術センターで自然言語処理関係の研究開発をしている谷口です。普段はText-to-SQLの研究をしています。

本記事では、説明可能なAI (Explainable AI; XAI) について解説します。はじめに、XAIの必要性について解説します。次に、XAIの代表的な3つのアプローチ、XAIのアプリケーションを紹介します。

XAIの必要性

近年のDeep Learningの隆盛によって、AIは金融やヘルスケアなど様々な分野で利用されるようになりました。今後もこの傾向は加速していくと予測されます。例えば、AIを利用した金融信用スコア推定や、Deep Learningを利用したがん診断の支援などが行われています。信用スコアはクレジットカードの申請や住宅ローンの審査などに利用されます。米国ではFICOスコア、中国では芝麻信用が広く用いられています。がん診断支援では、国立がん研究センターに蓄積されたデータを解析することによって実用化が進んでいます。

Deep Learningの課題として、ブラックボックス問題が挙げられます。図1がブラックボックス問題を表しています。ブラックボックス問題とは、「Deep Learningを用いたシステムが、入力に対する予測結果しか出力しない」という課題です。 つまり出力の過程や根拠が不明ということになります。 このブラックボックス問題は様々なビジネスリスクを引き起こします。 MicrosoftのTayやAmazonの採用AIなど実際に問題も起きています。

図1. ブラックボックス問題 (引用元: DARPA XAI)

ブラックボックス問題の解決策として、XAIの利用が考えられています。図2がXAIの概要を表しています。XAIは、予測結果を出力するだけでなく、予測の根拠や過程などの説明を出力できるシステムです。XAIの実装によって、先程挙げたような社会実装する上で課題となるブラックボックス問題を解決することが期待されています。

図2. XAIの概要 (引用元: DARPA XAI)

XAIの代表的な3つのアプローチ

XAIには「Deep Explanation」「Interpretable Models」「Model Induction」という図3の3つのアプローチがあります。これらはDARPAのXAIプロジェクトで定義されているものになります。これらのアプローチについて順に説明していきます。

図3. XAIの3つのアプローチ (引用元: DARPA XAI)

まず「Deep Explanation」です。Deep Explanationは現在のDeep Learningのモデルに対して説明能力を付加するというアプローチです。具体的には、Deep Learningモデルの特徴量の可視化やモデルに予測根拠の説明を学習させるなどがあります。Hendricksらは、図4のように予測とともにその根拠を出力するモデルを構築する手法を提案しています。

図4. Deep Explanationの例 (引用元: Generating Visual Explanations)

次に「Interpretable Models」です。Interpretable Modelsは解釈可能なモデルを構築するというアプローチです。具体的には、ベイズ推論に基づくモデル構築などがあります。Parkらはポーズ推定と部位の予測を同時に行い、図5のように出力できる手法を提案しています。

図5. Interpretable Learningの例 (引用元: Park, et al., 2016)

最後に「Model Induction」です。Model Inductionは所与のブラックボックスモデルに対して、説明を行う別のモデルを構築するというアプローチです。具体的には、ブラックボックスへの入出力とその挙動を解析するなどがあります。Ribeiroらはモデルが予測をする際に、図6のように、入力のどの部分に着目していたかを解析する手法を提案しています。

図6. Model Inductionの例 (引用元: “Why Should I Trust You?” Explaining the Predictions of Any Classifier)

XAIのアプリケーション

ここでは、モデルに依存せず利用できるModel Inductionの具体的なアプリケーションであるCheckListを紹介します。 Model Inductionはモデルを再学習させる必要がなく、他のアプローチと比較して低コストで導入が容易です。

CheckListはACL2020のベストペーパーで提案された自然言語処理 (NLP) モデルの評価を行うための手法です。 CheckListは言語処理モデルをブラックボックスとして扱い、モデルが満たして欲しい要件を1つ1つ評価します。要件ごとに評価を行うことで、モデルの利点と欠点を明らかにできます。

CheckListを、感情分析タスクを例として、どのような評価が行われるか説明します。感情分析は、所与の文章の感情極性を判定するタスクです評価は2つのステップから構成されます。1ステップ目は、評価の要件を定義します。2ステップ目は各要件を様々な尺度で評価します。

まずモデルが満たして欲しい要件を定義します。「否定文でも正しく分析できるか」「文の感情極性に影響がない単語を変更しても、極性に変化がないか」「ネガティブな表現を末尾に追加すると、モデルの予測するネガティブ度合いが向上するか」などが上げられます。

続いて、各要件の評価を行います。評価が悪い部分を確認することで、モデルの欠点を分析することが可能になります。 評価の尺度としては、Min Func test (MFT), Invariance test (INV), Directional Expectation test (DIR) があります。 MFTは対象とする尺度をどれくらい満たすことができているかを評価します。INVは対象とする尺度の変化に対する頑健性を評価します。DIRは対象とする尺度の変化に合わせてモデルの振る舞いも正しく変化するかを評価します。

一通りの評価を行うと図7のような結果が得られます。図中のAは「否定文でも正しく分析できるか」を評価しています。図中のBは「文の感情極性に影響がない単語を変更しても、極性に変化がないか」を評価しています。図中のCは「ネガティブな表現を末尾に追加すると、モデルの予測するネガティブ度合いが向上するか」を評価しています。

図7. CheckListを使った分析例 (引用元: Beyond Accuracy: Behavioral Testing of NLP Models with CheckList)

おわりに

説明可能なAIの必要性、説明可能なAIのアプローチとアプリケーションを見てきました。現状の説明可能なAIはモデルの一部分を解析し、デバッグ等に役立てることが主な用途になっています。しかしDeep Learningモデルはすでに広く利用され、社会実装の幅も広がっていくことを考えると、説明可能なAIの重要度は高くなっていくことが予測されます。

参考

本コンテンツはクリエイティブコモンズ(Creative Commons) 4.0 の「表示—継承」に準拠しています。