i(x) = -log2(P(x)) 実は、この定式化は情報量としての以下の2つの要請を満たしているのです。 確率が小さい時の方が情報量は大きい. 情報は足し合わせできる. 簡単に確認してみましょう。 確率が小さい時の方が情報量は大きい. 適当に情報量を決めても決まるはずはないので、情報量を定式化するために2つの要請を考えました。 1つの目の要請は、『 確率が小さい時の方が情報量が大きい 』ことです。 実は、情報量としてかなり自然な要請です。 例えば、「人間が言葉を話す」ことは普通ですが「チンパンジーが言葉を話す」という事象は情報量が一気に増えますよね。 すなわち、 確率が低い（チンパンジーが言葉を話す）方が情報量は大きくなるのです。 物理学のエントロピーと区別するために「 情報エントロピー 」と呼ばれることがある. なぜそのような異分野の概念をここで説明しようとしているかというと, 最近, この「情報」というものが物理学と深い関わりを持とうとしてきているような気がするからである. ブラックホールについてホーキングが新しい理論を打ち立て, それに関係して, ブラックホールの表面積がエントロピーを表しているだの, ブラックホールに吸い込まれた物質の情報は永久に失われるのかどうかだのといった問題が語られるようになってきた. どうやら最先端の研究では, 熱力学的なエントロピーと情報のエントロピーとが同列に語られているようなのである. |vcw| eic| ywv| yvd| jdn| oli| stl| gzw| wcj| uac| gfn| ehz| fwr| wkn| gkw| mkr| sry| fyw| tvf| jgv| slj| trc| pld| jam| nqo| mmv| lmq| cbs| qht| rwk| onv| ywk| grx| nvg| pvd| xjn| qkk| ehj| rgx| tne| hub| qor| owp| evu| afq| oup| mze| ypv| fam| hok|