読者です 読者をやめる 読者になる 読者になる

テストってなんだろう

テストは何を測るのか―項目反応理論の考え方

テストは何を測るのか―項目反応理論の考え方

出版社からご恵贈頂きました。ありがとうございます。
何かを測定したり評価したりする際には繰り返し読み直して参考にするべきテキストです。
私の問題関心としては、第1に、高等教育論の分野において何らかの教育(内容・方法)と学生の成長(知識・技術・いわゆる「汎用的」能力など)を関連させて検討するというときに、杜撰な方法を取っている事例がよくあることです。対象を適切な方法で測定、評価できているといえるのか、不安に覚えることがあります。第2に、高大接続、新しい種類の入学試験に関してテストバッテリをどう組むのか、そもそもその専門家はどこにいるのかという問題です。この専門家の問題については現在研究しているところなのですが、あまり良い展望を見出すことができていません。筆者は次のように述べています。

大学入試センター研究開発部がもっている試験に関するノウハウは、高大接続システム改革会議における議論にはほとんど生かされていないというのが筆者の正直な感想です。それは、高大接続システムに携わる専門家の中に、テスト理論に精通している者が少数であることをみれば明らかです。テスト理論から得られる知見は、入試にも多くのメリットをもたらすことがわかっていますが、それらの知見を前提知識として共有する姿勢の欠如によって、このような事態に至っているのではないでしょうか。
194頁

テストバッテリについても、筆者は国家公務員採用試験の事例を丁寧に解説しています。民間企業についても少しだけ触れられています。おそらく大学の入学試験も多面的な評価を行うためにテストバッテリを組むことになるのでしょう。しかし、どのような組み方が適切なのかについては、まだ研究が浅いような印象を持っています(私が知らないだけなのかもしれません。これから勉強します)。
最後に、テストにまったく関心がない方に対しても、「コラム1「日本的テスト文化」(42-43頁)」だけはお勧めします。0点や満点に特殊な意味が加えられることや、新作問題ばかりが使われることなど、私たちにとって当たり前のテストに関する習慣が実はそうでもないということに気付かされます。

黙り込む教授

http://wol.nikkeibp.co.jp/atcl/column/15/122400041/021500020/

この記事で紹介されているKennedy Schoolの授業が、以前私が日本工業大学で担当していた「大学での創造的学び」に似ているという指摘を知人の研究者から頂いた。
以下、記事の引用である。

「さぁ始めよう」
教授は授業の初めにこの一言を発してから、黙ってしまう。
1時間15分の授業は、学生の言うまま、思うがままに進んでいく。
(略)
初回の授業は、今まで受けた授業の中で、最も緊張した空気が流れていた。何も話さない教授を前に、100人の学生たちがどうにか、秩序や形式を保とうと試行錯誤をする1時間15分だった。
教授が「さぁ、始めよう」と言ってから数秒も経たないうちに、不思議と次から次へと学生が話を始めた。なぜ自分が授業を履修したのか話す人、リーダーシップとは何かと説明しようとする人、この授業から何を得たいか話す人…“自己紹介をしよう”と提案する学生が出たと思いきや、何となく話が流れてしまう。
どのような目的や意味を持ちながら、周りの学生は発言をしているのか。秩序を求めている一方で、提案に付いていかないのはなぜなのか。初回の授業では多くの疑問が残った。
(略)
学生に主導権が委ねられた慣れない空間で、一人一人の個人がどう適応して、クラスとして前進できるか。「権威」を持つ人がいない中、リーダーシップとは単なる役職やポジション、あるいは指導者の手腕ではなく、それぞれの人が発揮するものなのだと感じる。
このような気付きや考察を繰り返すことによって、リーダーシップについて学ぶ授業なのだ。あらゆる分野の学生が履修するためにこぞって集まるゆえんが分かったような気がした。

http://jbpress.ismedia.jp/articles/-/37339
日本語による同様の記事もある。再び、引用しよう。

ハイフェッツ教授は授業初日に教室にやって来て、一通り事務手続きを話した後、黙りこくってしまいます。以降の授業でも、少し話したかと思うと教室脇にある椅子に座ってぼーっとしています。
授業の大半はある意味、授業放棄とも言える状態のため、学生は混乱に陥ります。
「私たちは何を学んでいるんだ」「高い授業料を払ってこれか」「学生の意見なんて聞きたくない。私は教授の話を聞きたいんだ」
(略)
教授はたまに重い口を開いて話し出したりしますが、怒った学生たちは「こんな授業でいいと思っているのか。私たちはこの数週間何も学んでいない。教授のやり方は間違っている!」と教授をも攻撃し始めます。
先生が講義しない授業なんて、いったい何の役に立つのか? と疑問を抱かれると思います。でも、これは多様な意見を持つ人々が集まる、いわゆる現実の世界を教室に再現したものなのです。

この授業の担当者はRonald Heifetz博士である。こちらでシラバスが公開されている。日本でもNHKの白熱教室をみて知った方も多いだろう。
https://www.hks.harvard.edu/about/faculty-staff-directory/ronald-heifetz

授業によく似ていると思われるのが、T-groupやSensitivty Trainingである。そして、なるほど、Heifetzは実は精神科医でもある。こうした方法をよく知っているはずだ。もちろん、それらは過去にとある分野で悪用された経緯によって否定的に捉えられることもある。しかし、大学の安全な教室内で行われれば問題はないだろう。シラバスを読む限り、Heifetzだけではなく複数のTAがついているようである。
「大学での創造的学び」も複数のスタッフが関与することでなるべく混乱が生じないような配慮を行っていた。学生の喜怒哀楽を受けとめるのも仕事の一つである。そして、ちょうど別のところに書いたばかりなのだが、やはりリーダーシップが鍵概念の一つである。私は教室でそれを明示することはあまりなかったのだが、まさに「それぞれの人がリーダーシップを発揮」するようになる。Heifetzとの違いはものつくりを「現実の世界を再現する」〈方法〉として用いるところだが、おそらく目標はかなりの部分で共通しているのである。なお、MBAにおけるケース・メソッドも同じような方法(「現実の世界を再現する」ためのケースであり、まずは院生同士で議論する)、目標を有しているともいえるだろう。

http://sakuranomori.hatenablog.com/entry/20160504/p1

ただ、以前にも書いたように、この授業はすでに開講されていない。とても残念なことである。Heifetzの著作にもあるように、この方法についての学術的背景は当然あるわけだが、その理論そのものを教室で知識として伝達するわけではないので、伝統的な講義形式のみを正統とみなす教職員から理解を得るのが難しいのである。

年齢とコーホート

f:id:sakuranomori:20170221120958j:plain
研究室の段ボールを片付けていたら、こんなもの(コピー)が出てきた。

一橋大学前期自治会講義教官評価委員会、1995、『講義教官評価93総集編:一橋大学における学生主催の講義評価の試み』(頒価350円)

いまはそうは言わない「教官」という言葉が時代を感じさせる*1
はしがきにはこう書いてある。

大学の講義は一般的には退屈なものとされる。少なくとも一橋大学前期課程において、この通説を否定できる事例はそう多くはないようだ。これは「大学のレジャーランド化」と指摘される現状と密接にかかわっている。大学は教育機関としての役割を失い、学問を学生に提供せず、受験競争に終えて再び競争社会へ出るまでの息抜きだけを提供している。こう指摘されもする現状を改善しなければならない。これは、現在の大学受験制度や教育体制、ひいては社会の大学偏重といったことまでを含む課題である。そのなかで大学の基礎である講義、特に大学の入口である前期課程における講義の活性化に重要性を見いだして行われたのが本書の「講義教官」である。これは、一橋大学前期自治会講義教官評価委員会が1993年秋から翌年の1月までの間に行ったアンケート調査と、それに対する教官からの返答である。学生主催の講義評価であり、各教官の評価を公表するという点、そして教官からの返答を併せて編集するという点では、おそらく日本で初めての試みではないかと思われる。これは、学長選挙においても学生も一人一票(候補者除斥権)をもっている本学の自由な風土があるからこそ、実現できたものであろう。
大学生には様々な非難の言葉が投げかけられてきた。いわく、「学問の府をレジャーランドにした不届き者」「税金の無駄遣い」「モラトリアム」。学生は社会にたいして負っている責任を自覚すべきであり、その責任逃れをすることはできない。だが今まで、レジャーランド化の原因を社会制度や教育体制などに求めず、学生個人に追求するむきが強かったのではないか。それゆえ、「最近の大学生は勉強しない」と結論づけて問題の解決を先延ばしにしてきたように思える。ただし、これは大学教員への批判というのではない。講義教官評価は、「最近の大学生は勉強しない」といわれる現状をどう解決するのかという議論に学生の視点を加え、広範な議論の発端となることを目的としている。決して、「大学教員(原文ママ)を弾劾」するものや、学生の果すべき責任を問わず一方的に教官を批判するもの、学生を消費者とみなしそのニーズに応える目的のものなどとは、同一視されてはならない。
(略)
学生による講義評価が教授会などの圧力で実行不可能な大学があるなかで、本学の教職員は上記の様に易く(原文ママ)学生に理解を示し協力を惜しみません。このような素晴らしい慣習を築き上げ、維持してきた緒先輩方に敬意を表します。
平成7年 編者

なにやら偉いひとが書いたような文章である。最近では「レジャーランド」論は聞かなくなったものの(そもそも、ほんとうのレジャーランドに行かなくなっているかな、浦安のところ一人勝ちで)、「勉強しない」論はまだよく言われるところであって、20年以上変わっていないこともあるのだ。また、講義を評価するのか、教官を評価するのかが曖昧なことも、実は現在でも混乱していることもあるのかもしれない。なお、類書の、最近では類似サイトの学生による授業評価とは異なって、回答者数が各講義につき数十名と多く、また、教官からのフィードバックが掲載されている。
 興味深いことの一つが、アンケートの設問が現代のそれとよく似ていることである。当時の学生が作成したにもかかわらずである。実は教官が作成していたのではないかという疑念もあるかもしれないが、編者の氏名を見る限り、私にはそのようには思えない。まず、以下の設問A「この講義および担当教官について」、NO(マイナス2点)からYES(プラス2点)までの5件の回答を求めている。声は明瞭である、黒板の使用は効果的である、話のスピードは適当である、講義は要点を抑えていてわかりやすい、講義は一貫性を持っている、年間講義計画は詳細である、学生の理解力を考慮している、質問への対応が丁寧である、講義が教材にとどまらず発展性に富む、現実と関連性にある話もする、学生の知的好奇心を刺激する、熱意が感じられる、この講義を全体的に評価すると?。また、設問B「あなたはこの講義に対して」、それぞれの評語に応じて5件での回答を求める。どのくらい出席していますか、毎回予習はしますか、難易度はどれくらいに感じますか、関連図書を読みましたか。そして、設問C「この講義を受講する理由(2つだけ)」、を選ぶように求める。講義要綱を読んで興味を覚えた、単位取得が楽である、いわゆる「保険」である、先生にひかれた、後期への必修科目である、時間割の都合上、その他。

学生による授業評価は今でも大学教員によって否定的に受け取られることがある。結局は学生を受動的な消費者にする、人格批判や勤務評価に転用されるなどの理由によってである。その否定は確かにわかる一方で、これらの設問を見る限り、声、黒板、スピード、要点等についての学生が感じる問題意識も無視はできないのだろうと思い直すのである。
 もう一つは、自由記述についてである。良い点、悪い点、要望を書くように求めている。各講義について大量の自由記述が8ポイントほどの大きさで列記されている。ここでは、悪い点の一部を抜き書きしてみよう。括弧内の数字は同一内容の記述件数であると推測される。



人文科学系のある講義
少し聞き取りづらい、訳のわからない人には「そうじゃなくてー」の意味が分からない、出席しない人に対して甘い、くどい、ねちねちしている、冷たい、小馬鹿にする、バカに正解を要求する、授業に参加する人数が少ない(分かる気もするが…)、名簿順にあてるので学生の緊張感や熱意が弛緩してしまう(むろん大多数の学生にとっては、「良い点」になるでしょうが)

社会科学系のある講義
声が小さい(2)、ノートがとりにくい(3)、講義が単調で眠い(5)、話が非常にわかりずらい、余談を入れるタイミングの悪さがそれに拍車をかけている、話に抑揚がないので重要なことがわかりずらい、要点がわかりにくい、項目だけを羅列している気がする、時々意味不明、論理の進め方がわかりにくい時がある、先生の頭ではキチッと整理されているのであろうが実際にノートを書くときには難しい一面がある、板書をしない(4)、黒板の使い方が不十分、非効率(6)、十分に理解出来ない概念をも時間をかけて説明してくれない、スピードが速すぎ、ノート取れない(9)、ポイントをさっさと言い流す、**出身の教官であるため**という講義名から推測できる内容よりかなりマニアックだ(二宮注:一部伏せ字にした、以下同様)、カバーする範囲が広いため1つのことに対して突っ込んだ話があまり聞けない(2)、自己満足な講義に陥っている、**にもかかわらずかなり突っ込む部分と全く触れない部分があってムラが出る

社会科学系のある講義
偉そうな話し方(4)、何を求めているのか分からない(2)、板書が少ない、やや難しい、テーマが身近であってほしい、テキストが時代遅れ、レポートの返答が簡単、評価が厳しい、偏見を持っている(2)、嘘をつく、性格が悪い、主観的、頑固、怖い、予習が大変、時間の延長

一般教育科目のある講義
だじゃれが下らなすぎると白ける(原文ママ)、眠くなる

語学のある科目
ききづらい、話すスピードが速い、早口でわかりずらい(4)、発音が悪い、要点を得ない、進度がとにかく速すぎる(2)、むずかしい、(たった1年間しか**をやっていないのに)学生の力を過信している、論文の内容がつまらない(おもしろくもないのに非常に文法的には難解。最低。語学の授業として最低だ。かえって学習意欲をそいでしまう)、無理に**を読ませたこと、テキスト教材が不適当、難しすぎる(4)、テキストの内容が自分(先生)の能力を超えていたらしく途中でテキスト変えた、突然テキストを変えた、テストが難しい、相対評価で落とす、テストで点が悪いとDがつく、夏学期の試験のとき見回りをしないからカンニングをしていた人が多かった(真面目に勉強をしていた人がバカをみる)、辞書を乱雑に扱う点、先生が予習をあまりしていないのか先生自身教材内容をわかっていないらしい、先生が一人で文法の分析をする場になってしまっている、ダラダラ続く論文をダラダラ読むので学習意欲がわかない



あまりにも言いたい放題である(笑。ノートを取ることへの言及については今とは違っているだろうか。ところで、はしがきでは学生は消費者ではないと主張されていた一方で、サービスを受けるという観点からのコメントもあるようだ。私が関心を持った理由は、現代でも同じような主張をよく見かけるからである。そして、特に、それがなぜかボーダーフリー大学否定論の根拠になることを不思議に感じているからである。学生によるこれと同様の書き込みや、ネットメディアによるそれへの言及に依拠してボーダーフリー大学の教育が「だからダメなんだ」と言われることがある。しかし、例示した、おそらくは選抜性の高いであろう大学におけるかつての学生によるコメントを見れば、そうした主張はコーホートによる違いと年齢による違い(と選抜性によって生じる相違の何か)を混同していると指摘できるかもしれない。少なくとも20年、30年単位の時間的間隔の中では、ある時期(コーホート)のあるカテゴリーに入る学生が何らかの特徴を持っているというのではなくて、そもそも学生とはその年齢ゆえに何らかの特徴を持っているといえないだろうか。このように視点を変えてみると、何かできることが増える印象を持っているのである。

*1:本文中で外部との政治団体とのつながりはないことが強調されている。このことも時代を感じさせる。なお、確かに団体としてはそうだろう。ただし、個人的につながりを持っていたひとは僅かであれいたかもしれない。