p値覚書き①

統計的優位性は、実験が偶然によるとは言えない極端な結果を生み出したかどうかを測定するものだ。  
結果が偶然による変動の範囲を超えるなら、統計的に優位と言える。
（データサイエンスのための統計学入門 P98）

p値について、データサイエンスのための統計学入門では

帰無仮説を具現化する偶然のモデルにおいて、p値は観測結果の以上な、すなわち極端な値が得られる確率である。

とある。
奥村先生はこの記事で

そのモデルと現実のデータとの整合性の度合を確率のことばで表したのが p値です

と記載している。

よくあるコイン（理想的な歪んでないコインでは表裏が50%出る）で考える。
奥村先生の記事を流用しつつ自分なりの言葉で。

硬貨を10枚投げて表が2枚しか出ませんでした。この硬貨は歪んでいるでしょうか。

帰無仮説は「硬貨は歪んでない（50%ずつ表裏が出る）」。
今回の場合、「硬貨が歪んでない」とは言えない確率の合計がp値。 硬貨は二項分布なので

dbinom(x,size,prob)

を用いる。

dbinom(x=2,size=10,prob=0.5)

は、10回試行したとき0.5で現れるものが2回現れたときの二項分布確率を示す。
pbinormはx以下の時の確率の和。 そのため、今回は表が0,1,2枚および、逆の8,9,10枚出た場合の確率を求めると

> pbinom(2,10,0.5)*2
[1] 0.109375

となり、p値は10.93%。有意水準を5%とした場合、5%より高いため帰無仮説は棄却できない=「歪んでない」と言えない、とは言い切れない。

p値は言い方を変えると、表が2回だったということが偶然だった確率は10.93%なので、偶然ではないよとは言い切れないよね。という意味。
逆に、1%とかだったら、偶然2回だった確率がとても低いので、歪んでないと言えない、といえる。
ちゃんと書くなら、

「帰無仮説のモデル（歪んでない）で今回の事象が説明できる確率が10.9%」あるいは、
  「帰無仮説のモデルで、観測された結果が生じるほど結果が極端である確率が10.9%」なので、帰無仮説は棄却できない。

違った書き方だと、

帰無仮説が正しい場合に、誤って帰無仮説を棄却（否定）してしまう確率

とも言える。 ポイントは「歪んでいる」ではなく、「歪んでないと言い切れない」。
・・・色々書いたけど、このリンクのがわかりやすいな