|
===================================== 〔語彙分解〕的な部分一致の検索結果は以下の通りです。 ・ 相 : [そう] 【名詞】 1. aspect 2. phase 3. countenance ・ 相互 : [そうご] 【名詞】 1. mutual 2. reciprocal ・ 情 : [じょう] 【名詞】 1. feelings 2. emotion 3. passion ・ 情報 : [じょうほう] 【名詞】 1. (1) information 2. news 3. (2) (military) intelligence 4. (3) gossip ・ 情報量 : [じょうほうりょう] 【名詞】 1. information content 2. information volume ・ 報 : [ほう] 1. (n,n-suf) information 2. punishment 3. retribution ・ 量 : [りょう] 1. amount 2. volume 3. portion (of food) 4. basal metabolic rate, quantity
相互情報量(そうごじょうほうりょう、)または伝達情報量(でんたつじょうほうりょう、)は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。 == 定義 == 形式的には、2つの離散確率変数 ''X'' と ''Y'' の相互情報量は以下で定義される。 : ここで、 は と の同時分布関数、 と はそれぞれ と の周辺確率分布関数である。 連続の場合、総和の代わりに二重の定積分を用いる。 : ここでの ''p''(''x'',''y'') は ''X'' と ''Y'' の同時分布密度関数であり、''p''(''x'') と ''p''(''y'') はそれぞれ ''X'' と ''Y'' の周辺確率密度関数である。 これらの定義は対数の底が明示されていないため曖昧である。明確化するため、関数 ''I'' を ''I''(''X'',''Y'',''b'') のように3つの引数を持つとして定義することがある(ここで ''b'' は対数の底である)。一方、最も一般的な相互情報量の尺度はビットであるため、底として 2 を指定することが多い。 直観的には、相互情報量は ''X'' と ''Y'' が共有する情報量の尺度である。一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、''X'' と ''Y'' が独立であれば、''X'' をいくら知っても ''Y'' に関する情報は得られないし、逆も同様である。従って、相互情報量はゼロである。逆に、''X'' と ''Y'' が同じであれば、''X'' と ''Y'' は全情報を共有していると言う事ができ、''X'' を知れば ''Y'' も知ることになり、逆も同様である。結果として、相互情報量は ''Y''(または ''X'')単独の不確かさ、すなわち ''Y''(または ''X'')のエントロピーと同じとなる。 相互情報量は、''X'' と ''Y'' が独立な場合の同時分布と実際の同時分布の距離を示す量である。また、以下のような意味で相互の依存性の尺度でもある。すなわち、''I''(''X''; ''Y'') = 0 であるのは、''X'' と ''Y'' が全く依存しない、独立な確率変数である場合だけである(同値)。これは一方向から考えると分かり易い。''X'' と ''Y'' が独立なら、''p''(''x'',''y'') = ''p''(''x'') × ''p''(''y'') であるから、次が成り立つ。 : さらに、相互情報量は負とならず(''I''(''X'';''Y'') ≥ 0; 後述)、対称性がある(''I''(''X'';''Y'') = ''I''(''Y'';''X''))。 抄文引用元・出典: フリー百科事典『 ウィキペディア(Wikipedia)』 ■ウィキペディアで「相互情報量」の詳細全文を読む スポンサード リンク
|