シャノン (単位)

シャノン（記号: Sh）は、情報理論における情報量とエントロピーの単位であり、情報理論の創始者であるクロード・シャノンにちなんで名付けられました。この単位は、国際単位系（SI）における情報量やエントロピーの測定に用いられます。

シャノンの定義

1シャノンは、情報理論において、起こる確率が1/2（二分の一）の事象が持つ情報量として定義されます。これは、コインを投げて表が出るか裏が出るかのどちらか一方の情報量に相当します。また、シャノンは、同確率で起こりうる2つの状態を持つ系のエントロピーと等価でもあります。例えば、理想的なコインを1回投げる場合、結果が表か裏かの2つの状態を等しい確率で持つため、この時のエントロピーは1シャノンとなります。

ビットとの関係

歴史的な経緯から、データ量の単位であるビット（bit）が、シャノンとほぼ同じ意味で使用されることがあります。しかし、情報量とデータ量は深く関連しているものの、根本的には異なる概念です。シャノンは情報の量そのものを表す単位であり、ビットはデジタルデータを表現する際の最小単位です。1シャノンの情報量は、1ビットのメモリによって記憶することが可能です。つまり、1シャノンの情報量を表現するためには、最低でも1ビットの記憶容量が必要となる、という関係があります。

シャノンと情報量の関係

nビットのビット列が一様ランダムである場合、そのビット列が持つ情報量はnシャノンとなります。例えば、8ビットのランダムなビット列は8シャノンの情報量を持つことになります。しかし、ビット列が完全にランダムではなく、偏りがある場合、そのビット列が持つ情報量はnシャノンよりも小さくなります。これは、情報理論におけるエントロピーの概念が、ランダム性の度合いに依存するためです。

シャノンの数学的表現

シャノンは、確率の逆数の二進対数（底が2の対数）として計算できます。事象iが起こる確率をp(i)とすると、その事象が持つ情報量I(i)は、以下の式で表されます。

I(i) = -log₂(p(i))

この式からもわかるように、確率が低い事象ほど、その情報量は大きくなります。例えば、滅多に起こらないような事象が実際に起こった場合、それはより多くの情報をもたらします。

他の単位との関係

シャノンは二進対数を基にしていますが、情報量を表す単位には、他にも自然対数（底がネイピア数e）を基にしたナット(nat)や、常用対数（底が10）を基にしたハートレー(hartley)などがあります。これらの単位は以下の換算式で相互変換が可能です。

1シャノン ≈ 0.693ナット
1シャノン ≈ 0.301ハートレー

これらの単位は、情報量を異なる対数の底で表現しているだけであり、本質的には同じ情報を表しています。シャノンは、デジタルデータの情報量を扱う上で最も一般的に用いられる単位です。情報理論では、これらの単位を用いて、データの圧縮や伝送効率などを評価します。

まとめ

シャノンは情報量やエントロピーを測る上で基礎となる単位であり、情報理論における重要な概念です。デジタルデータを取り扱う上で、ビットとの関係を理解することは非常に重要です。また、シャノンの概念を理解することで、情報量の本質や、データのランダム性について深く理解することができます。

もう一度検索