|
===================================== 〔語彙分解〕的な部分一致の検索結果は以下の通りです。 ・ 結合 : [けつごう] 1. (n,vs) combination 2. union 3. binding 4. catenation 5. coupling 6. joining ・ 合 : [ごう] 【名詞】 1. go (approx. 0.18l or 0.33m) ・ エントロピー : [えんとろぴー] 【名詞】 1. (1) entropy 2. (2) mean information content 3. average information content, (n) (1) entropy/(2) mean information content/average information content ・ ー : [ちょうおん] (n) long vowel mark (usually only used in katakana)
結合エントロピー(英: Joint entropy)とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数 と があるとき、結合エントロピーは と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。 == 背景 == 確率変数 があるとき、そのエントロピー は の値の不確かさを表す。 について、イベント が発生する確率が であるとき、 のエントロピーは次のようになる。 : もう1つの確率変数 では、イベント が発生する確率が であるとする。 のエントロピーは で表される。 ここで、 と が相互に関連したイベントを表しているとき、系全体のエントロピーは にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。 は選んだ整数が奇数かどうかを表し、 は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。 抄文引用元・出典: フリー百科事典『 ウィキペディア(Wikipedia)』 ■ウィキペディアで「結合エントロピー」の詳細全文を読む スポンサード リンク
|