確率変数とは、確率的に変化する値のことです。その値をとる確率が与えられています。
確率変数には決まった確率規則をもとにして発生しています。サイコロであれば、それぞれの面が1/6 で出現するよう割り当てられています。これが「確率分布」となります。
決まった確率規則がある分布が確率分布です。そこから1つデータをとってみたとしましょう。これは、その決まった確率規則がある分布から得られた1つのデータである、ということになります。
たとえば、1から6の面があるサイコロのことを考えてみます。サイコロを振って1の面が出るのは、1/6の確率ですよね。2の面が出るのも1/6の確率です。他の面でも同じです。サイコロの構造上、それぞれの面が1/6の確率で出現します。確率規則があるということです。
そして、サイコロを振って出る目は、確率分布となります。
実際にサイコロを投げて、3の目が出てきたとします。サイコロ投げの確率分布から、1つのデータが出現したものと考えるのです。
目に見えるのは、実際にサイコロを投げた結果だけですが、見えないところでは、サイコロ投げでそれぞれの目が出るのは1/6 と確率的に決まっています。実際にサイコロを投げて出た目は、その決まっている確率通りに出現している、ということです。
そして、試行回数を増やしていけば、確率分布の通りに、それぞれの目が1/6ずつ出現するようになるでしょう。
これが、サイコロ投げで出る目は確率分布に従う、ということです。
正規分布で考えてみても同じことです。日本男児の身長の分布は、平均値170cm、標準偏差5cmの正規分布であるとしましょう。
ある1人の日本男児の身長を測ったら、そのデータはN（ 170，5 ）の正規分布から得られたデータです。
誰か1人を選んで測定する身長データは、 N（ 170，5 ）の正規分布に従う確率変数となります。
統計学では、データを「特定の確率分布に従う確率変数」と考えます。日本男児の身長はN（ 170，15）の正規分布に従う、と言います。