■

社会調査の考え方　上

大学満足度調査の問題点１―母集団の定義
日本の大手通信教育系出版社Xの参加にある某研究所は、1997年から2007年までの10年間に4度にわたって「大学満足度ランキング」に関する調査をアンケート形式でおこなっていた。ご多分に漏れず、このランキング調査も方法論という点でさまざまな問題を抱えているものであったが、特に、母集団の定義という点に関しては致命的とさえ言える問題があった。
上記の調査の結果については、それぞれの年度に、満足度だけでなく、学生の自己概念や大学への適応度等に関する分析結果なども含む調査報告書が公表されてきた。もっとも、報告書のタイトルは『学生満足度と大学教育の問題点』というものであり、また、報告書の巻末には、「総合満足度」をはじめとして上位30校あまりがリストアップされている。つまり、この調査では満足度のランキングが大きな「目玉」になっていたのである。実際、このランキングにおける順位は、総合満足度について「上位校」となった大学の広報資料に引用された他、「大学選び」に関する、他社の刊行物に掲載されたりもしていた。
2007年度におこなわれた最終回の満足度調査で対象となったのは、全国の4年制大学125校に在籍する1年から4年までの1万779人の大学生である。
この1万人以上という数字だけを見れば、かなり大規模で本格的な調査のようにも思える。もっとも、報告書の内容に目を通してみるとすぐに明らかになってくるのは、この調査の対象は「ゼミレポーター」と呼ばれる学生たちにほぼ限定されていた、という事実である。ゼミレポーターというのは、X社がおこなってきた通信教育の高校講座を受講した経験があり、なおかつそれぞれの大学に進学した後にその大学に関する情報を報告している学生たちのことである。
（略）
大学満足度調査の問題点２―サンプルサイズ
（略）
なお、報告書に明記されている調査概要についての解説によれば、調査の対象は「30名以上の回答者を集計できた大学」が125校である。また学部別の項目については、「10名以上」の回答者が得られた322学部が対象となっている。サンプルの適正サイズに関してはすぐ後で解説するが、常識的に考えても、ゼミレポーターという属性を持つ学生が対象になっているだけでなく、各大学や学部についてこの程度のサンプルサイズでは、満足度に関する測定誤差がかなり大きなものになることが容易に予想できる。したがってまた、そのような測定によるランキングの順位の信憑性はかなり疑わしいものになってしまう。
208-209頁

社会調査の教科書で「サンプリング」のおかしな事例として大学ランキングの一つが紹介されている。この満足度調査の回答者はそもそも学校的なことがらが好きである、第1志望の大学に進学した、（もし回答謝礼があったならば）回答にかかる時間と謝礼の金額を比較して後者に高い価値を認める、そうした偏りがあったといえるだろうか。また、学部につき10名という数は学生サークルによる自主的な授業評価、授業ランキングよりも少なく、見るに耐えるようなものではない。
一方で、大学、特に私立大学も学生募集という経営上の課題があるため、こうした極めて不適切なランキングであっても牽強付会に利用せざるを得ないこともある。大学進学のためにランキングを参考になさる場合には、おそらく現在の日本における商業出版物に掲載されるそれはあてにならないだろうとお考え頂きたい。学生を対象とした広報活動に影響される就職人気ランキング、大学を紹介する民間の「大学研究家」などと同じ問題があるだろう。すなわち、大学が大学ランキングそのものに広告費を払わずとも、別の名目で費用を払うことによって、結果としてそのことが大学ランキングを押し上げるのではないか（その大学が有利になるような項目が作られる、たとえ低いランクになったとしてもそれを打ち消すかのような記事が掲載される）という疑念を拭うことができない。もう少し踏み込めば、以前にもここで書いたように、民間企業を専門業者が格付する際の「依頼格付」と「勝手格付」の違いとまったく同じ問題さえ生じるかもしれない。広告費を出して頂けないのであれば、ランキングで不利になる可能性がありますよ、と。

注　第8章19）
略
また、この調査に関してもう1つ不可解なのは、満足度の順位づけに際して「対象大学内での偏差値」が用いられた、とされていることである（ベネッセ教育教育（ママ）開発センター2007: 168）。しかし、どのような形で大学内での各学生の偏差値が大学間の比較に使用できるかという点に関する十分な説明がなされていないため、その意図は必ずしも明らかではない。ない、同様の問題を含むと考えられる例としては、たとえば日経Career Magazine（2014: 6-19）参照。

注の説明もまた、大学ランキングへの不安を催させる。満足度の順位づけに「大学内での偏差値」を用いるというのはどのような意味か、指摘どおりに個々の学生の偏差値を何かの比較に用いるとはどのような意味か、わからないことが多い。高等教育の研究者は偏差値は「鵺」のようなものであってとても使い難いと感じるはずである。どのような手続きが行われたのか気になるのである。