データの広がりを解明！分散と標準偏差の基礎【東京情報大学・嵜山陽二郎博士のAIﾃﾞｰﾀｻｲｴﾝｽ講座】
分散はデータの散らばりを量る統計的尺度で、各データ点の平均からの偏差を二乗し平均したものです。偏差の二乗を用いることで、データの散らばり具合を正確に捉え、データ数の影響を排除します。標本データから母集団の分散を推定する場合、不偏分散を用いて自由度（データ数-1）で割ります。標準偏差は分散の平方根で、データのばらつきを元の単位で示します。これにより、平均値周りのデータ分布の広がりを直感的に理解できます。分散と標準偏差は、データセットの特性を解析し、比較する基本的ツールです。
▼▼▼▼▼▼▼▼
チャンネル登録はこちら
目次 データの広がりを解明！分散と標準偏差の基礎【東京情報大学・嵜山陽二郎博士のAIﾃﾞｰﾀｻｲｴﾝｽ講座】
分散（Variance）：ばらつきの尺度
データがどこを中心として分布しているのかを示すには、平均値が便利です。
一方、データがどの程度ばらついているのか、ばらばらに散っているのかの目安としては、どのような量を考えればいいでしょうか。
データの平均からのずれは「偏差」と呼びます。偏差は、たしかにばらつきの目安として直感的でわかりやすいです。
しかし、偏差には難点があります。偏差は、データ−平均値で得られますので、平均値より小さいデータの場合、偏差はマイナスになります。
そして、全てのデータの偏差を足し算すると、プラスとマイナスが打ち消しあってゼロになってしまうのです。
そこで、偏差を2乗して足し算した、偏差平方和を用いれば、データの広がりを表す目安になります。
ところが、偏差平方和にも難点があります。偏差平方和は、データ数が大きいほど大きくなります。
偏差平方和が大きい＝ばらつきが大きい、とは必ずしもいえないのです。
データが大きいから偏差平方和が大きいのであって、ばらつきが大きいわけではないかもしれないのです。
分散＝偏差平方和÷データ数
データの大きさの影響を調整するために、偏差平方和をデータの数で割ります。
これが分散です。
標本から得られた分散の場合にはデータ数から１を引いた値、すなわち自由度で割ると、母分散のよい推定になるといわれています。
これを不偏分散と呼ぶこともあります。
分散はデータの広がりの尺度です。
この値が大きいほどばらばらに散っていることになります。
標準偏差＝分散の平方根
ところで、今、長さのデータを扱っているとして、その単位がｍであったとします。
分散は2乗の平均ですので、単位はｍ2ということになります。
つまり、分散はデータそのものとは異なった単位をもっているので、データや平均値と比較することはできません。
１０ｍと１００ｍ２とどっちが大きいかと聞かれても、答えるのは不可能です。
そこで、分散のルート、すなわち平方根をとり標準偏差を算出します。
標準偏差であれば、元のデータや平均と同じ単位なので、平均値の周りでデータがどのようにばらついているかを知ることができます。
つまり、データと比較する尺度としては分散より標準偏差の方が直感的にわかりやすいといえます。
なお、分散は偏差平方和をデータ数で割って計算しますが、式変形をすると
分散＝データの２乗の平均−データの平均の２乗
という関係式が得られます。
こちらのほうが分散を求めるための効率のよい式となっています。
ChatGPTに聞いてみた
プロンプト
あなたは最高のデータサイエンティストです。
偏差平方和と分散と標準偏差の関係について解説してください。
#制約条件：
サルでもわかる平易な日本語で
文字数は300字程度
ChatGPTの回答
偏差平方和、分散、標準偏差は、データの散らばり具合を数値で表すための仲良しトリオです。まず、「偏差平方和」とは、各データが平均からどれだけ離れているかを二乗した数値を全部足したものです。これにより、データがどれだけ平均から散らばっているかの「合計」がわかります。次に、「分散」はこの偏?平方和をデータの個数（または個数から1引いた数）で割ったものです。これによって、データの散らばり具合の「平均的な大きさ」がわかります。簡単に言うと、分散は「データの散らばり度合いの平均」です。最後に、「標準偏差」は分散の正の平方根を取ったものです。分散がデータの散らばり具合を表す数字だけど、元のデータと同じ単位で表したい時に標準偏差を使います。つまり、標準偏差は「データが平均からどれだけ離れているか」を、わかりやすく表す数値です。これら3つは、データがどれだけバラついているかを理解するために密接に関連しています。偏差平方和がデータの散らばりの「合計」を、分散がその「平均」を、標準偏差がその「実際の大きさ」を表しているんです。
