スパースオートエンコーダ

AIの内部の活動を、少数だけが同時に働く大量の特徴量の組み合わせに分解するために使う、補助のニューラルネットワーク。

モデルのある層のニューロンの活動を入力として受け取り、それを数万〜数百万個の候補のうちごく少数(スパース)だけを使って表し直し、元に戻せるように学習させます。こうして得た候補の一つ一つが、人に分かる概念に対応しやすいことが、2023年の研究で示されました^[1]。

欠点は、解析したいモデルとは別に巨大なネットワークを学習させる必要があり、計算コストが高いことです。2026年には、この変換を使わずにニューロンを直接読んでも十分に解釈できる場合がある、という研究も出ています。