Shannon’s Entropy｜情報理論の基本方程式（シャノンのエントロピー）
定理：シャノンのエントロピー（Shannon’s Entropy）
歴史的重要性：
情報理論を創始したクロード・シャノンによって導入された量で、情報の不確実性や乱雑さを数学的に定量化したもの。ボルツマンの統計力学的エントロピー概念を情報の分野へ拡張し、情報の測定、通信効率、データ圧縮、暗号理論など、現代情報科学の基礎を築いた。情報理論のみならず、人工知能、生物学、経済学、物理学など多岐にわたる分野に革命的な影響を与えた。
発表者：
クロード・エルウッド・シャノン（Claude Elwood Shannon）
生年月日：
1916年4月30日
出生地：
アメリカ合衆国・ミシガン州ペトスキー（Petoskey, Michigan）
没年月日：
2001年2月24日（アメリカ合衆国・マサチューセッツ州メドフォード）
主な論文：
『通信の数学的理論』（A Mathematical Theory of Communication）
発表年：
1948年
発表場所：
アメリカ合衆国・ニュージャージー州
（シャノンは当時ベル研究所に所属し、同研究所から論文を発表した。）
受賞：
シャノンは情報理論を創始した功績により、1966年にアメリカ国家科学賞（National Medal of Science）、1985年に京都賞（基礎科学部門）を受賞している。
公式：
\[H = -\sum_{i} p_ i \log_ 2 p_ i\]
公式の説明：
- H：情報量（シャノン・エントロピー）
- pi：シンボルまたは事象 ii の発生確率
- 対数の底は一般的に2であり、その場合の単位はビット（bit）である。
- この式は、ある情報源の「平均的な不確かさ」や「情報量の平均値」を示すものである。各事象の起こる確率が均一に近いほどエントロピー（不確実性）は大きくなり、特定の事象に偏るほどエントロピーは小さくなる。この概念は通信における情報伝達効率や、データ圧縮技術の理論的限界を示す基本的な指標となっている。
親交の深かった科学者：
- ジョン・フォン・ノイマン（John von Neumann、シャノンにエントロピーの用語を提案）
- ノーバート・ウィーナー（Norbert Wiener、サイバネティクス理論の提唱者）
- アラン・チューリング（Alan Turing、計算理論の先駆者）
- ウォーレン・ウィーバー（Warren Weaver、『通信の数学的理論』の共著者・解説者）
- ハリー・ナイキスト（Harry Nyquist、通信理論における先駆者、ベル研究所での同僚）