Introduction to Recommender Systems の Programming Assignment 3 Part 2 の peer review にちょっとイライラ。
「The purpose of the peer review is to ensure that you provided your own original implementation of the user-user algorithm.」とあったから、LensKitの既存実装を使ってないかとか、ダメダメなコードでないかとかを確認するだけの0,1の採点だと思っていたら、「0: No or minimal attempt」「4: A recognizable attempt, but with obvious flaws based on visual inspection 」「5: A solid attempt, that based on visual inspection, should result in proper scoring」「6: An exceptional algorithm: clear, easy to read, and potentially innovative」で採点するようになっていた。
それで、実際の採点の前にトレーニングがあるのだけれど、どうも自分の採点結果と想定結果は違っていて、「This score is too high.」とか「This score is too low.」とか言われまくったあげくに、「You did not pass training. It's important for peer evaluations to be done carefully.」とかなってしまった。
明確な基準が与えられているわけではないし、特に5,6の違いなんて主観的にならざるを得ないと思うんだけどなぁ。 本番のレビューは一応もっと真剣にはやったけど、なんかモヤモヤが残る……
#recsys
peer reviewはまだまだ発展途上という事でおおらかに接してやるのが良いと思っている。