先日のゼミで、久しぶりに項目反応理論のことを思い出した。その時にもちょっと言ったけど、項目反応理論の項目パラメータの推定をCollective Intelligence的手法で行うのは面白いかもしれない。
最近、ご当地検定とか、何とか検定というのがたくさんある。自分たちで簡単な検定を作るサイトもある。
ある能力を測るテストを作りたいときに、問題をたくさん用意して、後は、Webで多くの人に受験してもらうと、項目パラメータの推定が自動的に行われて、多くの人が受ければ受けるほど、測定の精度・信頼性が上がったり、コンピュータ適応型テストの性能が上がったりするようにできるのではないか？
こうすると、項目パラメータは不変ではなく、時間と共に変化するようになるが、それはそれで面白い。TOEFLのようなテストの項目パラメータはほとんど不変だと思うが、何とか検定の場合、時代と共に項目パラメータが変化していくのは、むしろ当然な気がする。多くの人が正解するようになれば、過去に受験したテスト結果から計算される能力値も低下する。能力値の時価がわかる。
おまけ：人を集めるデザインパターン
Subscribe to:
Post Comments (Atom)
6 comments:
m0763yamです。
コメント残しにきました（笑）
先ほどの件ですが、能力値の時価というのは、“自分の相対的な能力値を知るもの”という意味で、偏差値と似ているのではないかと思いました。
…以上です^^;
m08mukaです。
項目反応理論を聞いた時からの疑問ですが、識別力というパラメータは必要なのでしょうか？
パラメータが動的に動くのであればこのパラメータも必要だと思います。しかし動かないのであれば、識別力が低い項目は項目として追加せずに淘汰していけばいいように思えます。
どうでしょう？
偏差値と似てるかなぁ…
時価と書いたのは、自分の能力が時間と共に変化しないとしても（本当は変化するけど）、周囲が時間と共に変化することによって、能力値が変化するという意味で使いました。時価は、同じもの（能力）でも、時間と共に値段（能力値）が変化しますよね。
例えば、あるOSに関する知識を問うテストがあるとします。周囲の人がほとんど知らない時に、ある人Aはよく知っていたとすると、各項目の難易度パラメータはみな高めになるので、Aさんの能力値は高くなります。その後、そのOSが人気になって、知っている人が増えてくると、各項目の難易度パラメータが低くなっていき、Aさんの知識は一定でも能力値も低くなります。その後、そのOSが過去のものになり、みんなから忘れ去られたとして、それでもAさんは忘れずに同じ知識を持っていると、またAさんの能力値は高くなります。
（項目反応理論の本を読んだのはずいぶん昔のことなので、間違っているかもしれませんが…）
識別力というパラメータは必要だと思います。
識別力の低い項目は不要だと思います。
項目ごとに識別力が異なるのですから、パラメータ自体は必要です。動的には動かないけど、項目ごとには違います。識別力が最高の問題だけを作ることは不可能ですから、識別力パラメータは必要だと思います。
一方、識別力の低い項目というのは、能力値の低い人でも高い人でも同じ程度に正解する項目です。その項目を使っても能力値に関する新たな情報は得られないので、そういう項目はやるだけ無駄ですから、排除してよいのではないでしょうか。（そういう項目も当て推量の精度に影響したりするかも？よくわからない）
m0763yamです。
能力の時価と同じで、偏差値も自分の能力が全く変化しなくても、周りの能力によって値が変わってきますよね？
例えば同じたとえを使いますが、あるＯＳのテストを1回目に受けたとき、周囲の人がほとんど知らないときにＡさんはよく知っていたとすると、Ａさんがそのテストを受験したときの偏差値が70とでるとします。
しかし半年後、Ａさんの能力は全く変わらなくても、ほかの人がＡさんと同じくらいの能力を身につけてテストを受けていたら、Ａさんの能力は全く変化していなくても偏差値は50と出ますよね？
そういうところがなんとなく似ている気がしました…。
私のイメージの問題かもしれませんけれど…。
とりあえず項目反応理論の本をアマゾンで注文したので、それを読んでもう少し勉強してみることにします。
偏差値に限らず、単なる順位（上から何%）でも、母集団が時間とともに変化すれば、同じ能力の人でもその値は変化するので、その意味では同じですね。
Post a Comment