有意差が出なかった結果は「差がない」ことの証明ではなく、「差があるとは言えなかった」という限定的な結論である。
この区別が、卒論で最も頻繁に誤られる。p値が.05を超えたとき「両群に差はなかった」と書いてしまうと、統計的検定の論理を理解していないと判断される。帰無仮説検定は帰無仮説を証明できない——棄却に失敗しただけであり、それは差の不在を意味しない。
そして重要なのは、有意差が出なかった卒論が不合格になるわけではないことだ。評価されるのは仮説の当否ではなく、設計と解釈の妥当性である。
結果はどう書くのか？
書き方の型は、有意だった場合とほぼ同じだ。統計量・自由度・標本数・p値・効果量を並べる。
誤：文系学生と理系学生の間に、生成AI利用時間の差はなかった。
正：文系学生（M = 4.32, SD = 2.11）と理系学生（M = 3.88, SD = 1.97）の生成AI利用時間を比較したところ、統計的に有意な差は認められなかった（t(238) = 1.65, p = .100, d = 0.21）。
正しい書き方には3つの要素が入っている。①群ごとの記述統計 ②検定統計量とp値 ③効果量。とくに効果量は有意でないときこそ重要だ。d = 0.21 は小さいながら差の方向を示しており、「差がない」とは言い切れない状況を数値で表現できる。t検定の実行手順はt検定のやり方にある。
使ってよい表現・避ける表現
| 避ける表現 | 理由 | 置き換え |
|---|---|---|
| 差はなかった | 帰無仮説の証明を主張している | 有意な差は認められなかった |
| 関連はない | 同上 | 有意な関連は示されなかった |
| 効果がないことが分かった | 検出できなかっただけ | 効果を検出できなかった |
| 有意傾向であった（p = .08） | 基準の事後的な緩和 | 有意水準に達しなかった（p = .08） |
| 仮説は誤りだった | 1研究で仮説は否定できない | 本研究では仮説を支持する結果は得られなかった |
4行目の「有意傾向」は日本語論文でしばしば見られるが、有意水準を事前に定めた以上、事後に「惜しかった」と述べるのは統計的推論として一貫しない。数値をそのまま報告し、解釈は考察で行う。
なぜ有意にならなかったのかを診断する
考察で書くべきは、有意にならなかった理由の候補だ。次の4つを順に検討する。
- 検出力の不足——標本サイズが小さく、実在する差を検出できなかった可能性。効果量が中程度以上なのにp値が大きい場合、これが最有力になる。
- 測定の問題——尺度の信頼性が低い、天井効果・床効果が生じている、といった測定側の要因。
- 操作の弱さ——実験研究であれば、独立変数の操作が十分に効いていなかった可能性。操作チェックの結果を示す。
- 本当に差が小さい——効果量も小さく、標本も十分なら、実質的な差が存在しない可能性が高まる。
効果量が d = 0.05 のように極めて小さく、かつ標本が大きい場合は、4番目の解釈に踏み込んでよい。逆に d = 0.4 程度あるのに有意でないなら、検出力不足を第一に挙げる。標本サイズと検出力の関係はサンプリング方法と標本サイズの決め方で整理している。
考察の例文
本研究では仮説を支持する結果が得られなかった。この理由として、第一に検出力の不足が考えられる。効果量は d = 0.21 と小規模ながら想定した方向を示しており、本研究の標本サイズ（N = 240）では、この程度の効果を有意水準5%で検出するには不十分であった可能性がある。第二に、利用時間を自己報告で測定したため、実際の利用時間との乖離が生じ、群間差を不明瞭にした可能性がある。
この書き方は、結果を弁明しているのではなく次の研究への設計指針を提示している点で評価される。考察の組み立て方は論文の考察の書き方を参照してほしい。
やってはいけない対処
- 有意になるまで検定を繰り返す。外れ値の除外基準を後から変える、群分けをやり直す、別の検定を次々に試す——いずれも多重比較の問題を生み、偽陽性を増やす。研究不正と評価されうる行為だ。
- 有意水準を事後に10%へ緩める。方法章で5%と宣言したなら、結果に応じて変えてはならない。
- 仮説を結果に合わせて書き換える。結果を見てから仮説を立て直すのは、探索的分析を確証的分析に見せかける行為になる。探索的に見つけた知見は、探索的だと明記して書く。
- 有意だった副次的な結果だけを前面に出す。主要仮説の結果を報告せずに副次的結果を強調するのは、選択的報告にあたる。
いずれも「有意差を出さなければ卒業できない」という誤解から生じる。実際には、適切に設計され誠実に報告された非有意の結果のほうが、操作された有意差より高く評価される。
限界としてどこまで書くか
検出力不足を認めるなら、それは研究の限界の項に接続する。「本研究の標本サイズでは小規模な効果を検出できない可能性があり、より大きな標本での追試が必要である」と書けば、限界と今後の課題が一体になる。書き方の型は研究の限界の書き方にまとめている。
検定の選択自体が適切だったかを再確認したい場合は、統計手法の選び方フローチャートでデータの尺度水準と目的を照合するとよい。カテゴリカルデータならカイ二乗検定が適切だった、というケースもある。
よくある質問
有意差が出ない卒論は不合格になりますか？
なりません。評価対象は問いの設定、方法の妥当性、結果の解釈です。仮説が支持されなかったこと自体は減点理由になりません。
p = .051 でした。有意と書いてよいですか？
いけません。事前に5%を基準と定めたなら、.051 は有意ではありません。数値をそのまま報告し、考察で効果量と検出力に触れてください。
効果量はどこまで報告すべきですか？
主要な検定すべてに付けてください。有意でない結果ほど効果量の情報価値が高く、追試の設計に必要な標本サイズを見積もる根拠にもなります。
データを追加で集めて再分析してもいいですか？
有意になるまでデータを足し続ける手法は問題があります。追加収集する場合は、事前に目標標本サイズを決めて到達するまで集め、途中で検定しないでください。やむを得ず追加した場合は、その経緯を方法章に明記します。
結論はどう書けばいいですか？
「本研究では◯◯と△△の関連を検討したが、有意な関連は示されなかった」と事実を述べ、そのうえで検出力や測定の限界を踏まえた解釈を1〜2文添えます。仮説の否定まで踏み込まないでください。