Introduction to Recommender Systems の Programming Assignment 3 Part 2 の peer review にちょっとイライラ。
「The purpose of the peer review is to ensure that you provided your own original implementation of the user-user algorithm.」とあったから、LensKitの既存実装を使ってないかとか、ダメダメなコードでないかとかを確認するだけの0,1の採点だと思っていたら、「0: No or minimal attempt」「4: A recognizable attempt, but with obvious flaws based on visual inspection 」「5: A solid attempt, that based on visual inspection, should result in proper scoring」「6: An exceptional algorithm: clear, easy to read, and potentially innovative」で採点するようになっていた。
それで、実際の採点の前にトレーニングがあるのだけれど、どうも自分の採点結果と想定結果は違っていて、「This score is too high.」とか「This score is too low.」とか言われまくったあげくに、「You did not pass training. It's important for peer evaluations to be done carefully.」とかなってしまった。
明確な基準が与えられているわけではないし、特に5,6の違いなんて主観的にならざるを得ないと思うんだけどなぁ。 本番のレビューは一応もっと真剣にはやったけど、なんかモヤモヤが残る……