生成的モデル
ウィキペディア フリーな encyclopedia
この項目では、統計的分類の文脈における生成モデルについて説明しています。マルコフ決定過程の生成モデルについては「en:Markov decision process#Simulator models」を、コンピュータグラフィックスにおける生成モデル言語(GML)と生成型コンピュータプログラミングについては「生成的モデリング言語(英語版)」を、生成AIについては「生成的人工知能」をご覧ください。 |
統計的分類では、生成的アプローチと識別的アプローチの2つの主要な手法がある。これらのアプローチでは、分類指標(英語版)を計算するために異なる方法論を用いており、その統計的モデリングの程度もさまざまである。使用される用語は一貫していないが[注釈 1]、Jebara (2004)によれば、主に3つの種類に分けられる。
- 生成的モデル(generative model)は、観測可能変数X と目的変数(英語版)Y の同時確率分布 に基づく統計モデルである[1]。
- 識別的モデル(discriminative model)は、観測値 x が与えられたときの、目的変数 Y の条件付き確率 に基づく統計モデルである。
- さらに、確率モデルを使用せずに計算される分類指標も、漠然と「識別的(discriminative)」と呼ばれる。
この最後の2つの種類は一貫して区別されておらず[2]、Jebara (2004)はこの3種類を生成的学習(generative learning)、条件付き学習(conditional learning)、識別的学習(discriminative learning)と呼んでいるが、Ng & Jordan (2002)は後者の2つを区別せずに、生成的分類指標(generative classifiers、同時分布)と識別的分類指標(discriminative classifiers、条件分布または無分布)と2つしか区別しない[3]。同様に、生成的モデルに基づく分類器を生成的分類器(generative classifier)、識別的モデルに基づく分類器を識別的分類器(discriminative classifier)と呼ぶが、後者はモデルに基づかない分類器も指すこともある。
それぞれの標準的な例は次のとおりで、すべて線形分類器である。
分類に適用する場合、その目的は観測値 x からラベル y (またはラベルに対する確率分布)を決定することである。そのための3種類の手法があり、1番目は確率分布を用いずに直接計算する方法(distribution-free classifier、分布によらない分類器)、2番目は観測値からラベルの確率 を推定し、それを基に分類する方法(discriminative model、識別的モデル)、3番目は同時分布 を推定し、そこから条件付き確率 を計算し、それを基に分類する方法(generative model、生成的モデル)である。これらの手法は、ますます間接的ではあるが、ますます確率的であり、より多くのドメイン知識と確率理論を使用することができるようになる。実際には、実際の問題に応じてさまざまな手法が選択され、複数の方法の長所を組み合わせたハイブリッド法も可能である。