戦略技術センター (STC) で自然言語処理関係の研究開発をしている谷口です。

本記事では、STCで行った「Text-to-SQL」研究の成果である以下の論文について紹介します。

この記事では概要だけを説明するので、詳細を知りたい方はこちらの論文をご覧下さい。

意味解析 (Semantic parsing) は，計算機による文章の解析/理解に向けた自然言語処理研究の重要な研究領域の1つです。 意味解析は、自然言語を論理形式 (Logical form) に変換する技術の総称です。

この論文では、意味解析の中でもText-to-SQLについて議論を行いました。 Text-to-SQLは図1のように与えられた質問文をSQLクエリに変換するタスクです。

図1. Text-to-SQLの概要 (引用元: Text-to-SQLにおけるSQL構文に着目したデータ拡張手法)

近年、Text-to-SQLではニューラルネットワークを用いた方法論が優れた性能を発揮しています。 Text-to-SQLで利用されるSpiderと呼ばれるデータセットのリーダーボード上位は、 ニューラルネットワークを用いた手法です。 このSpiderは、Text-to-SQLで利用される最も難易度が高いデータセットの1つです。 さらに、BERTのようなマスク言語モデルを利用した手法も提案されています。

しかし、ニューラルネットワークを用いた方法論は、モデルの解釈が困難であるという課題があります。 モデルが何をヒントにしてタスクを解いているかなど不明瞭な点があります。 このようなニューラルネットワークの欠点は、モデル改善の妨げになります。

そこでこの研究では、Text-to-SQLモデルの内部挙動を調査できるデータセットを構築しました。 このデータセットを利用することで、モデルの内部挙動の解析に役立つことを実験で示しました。 また、モデルの分析を、どのようにデータセットを用いて行ったかを紹介しています。

参考

本コンテンツはクリエイティブコモンズ(Creative Commons) 4.0 の「表示—継承」に準拠しています。