|
交差エントロピーやクロスエントロピー()とは、情報理論において2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 == 定義 == 同じ確率空間における2つの分布 と の交差エントロピーは、次のように定義される。 : ここで、 は のエントロピー、 は から のカルバック・ライブラー情報量(相対エントロピー)である。 と が離散確率変数なら、これは次のようになる。 : 連続確率変数なら、同様に次のようになる。 : なお、 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。 抄文引用元・出典: フリー百科事典『 ウィキペディア(Wikipedia)』 ■ウィキペディアで「交差エントロピー」の詳細全文を読む スポンサード リンク
|