Сегодня системы рейтинга в виде оценок есть у всего, от простых комментариев до автомобилей, недвижимости и корпоративных услуг. Такие системы работают не так как задумывались и не дают объективности. Вот кратко почему, исходя со слов мировых разработчиков и моим наблюдениям.

Для начала пример. Довольно давно на сайте Одноклассников сложился культурный код, по которому нельзя фотографиям ставить ничего кроме 5, иначе это проявление неуважения в духе «Тебе что-то не понравилось так, что не смог промолчать?»

Подобная метаморфоза просто приводит к утрате объективности оценки. И если в одних случаях в этом нет ничего страшного, то в других на этом выстроена система ранжирования, определяющая насколько вы будете успешны. То есть, в случае с фотками в Одноклассниках это нормально, оценки ни на что не влияют и, конечно, были зря спроектированы именно как оценки — там же не фотоконкурс. Фотографии в ОК требуют только отметки о просмотре как социального одобрения, лайка, к чему коллективное-бессознательное этот интерфейс и привело. (Думаю, они там появились из-за простой стилизации: Одноклассникни → школа → там ставят оценки).

Оценок, обычно, пять штук, в виде звездочек. Независимо от качества математической модели реализации системы оценок (от простого вычисления среднего и до анализа накруток и учёта периода времени) объективность шкалы в 5 звездочек страдает из-за нескольких проблем со стороны человека, вот три характерных:

1. Весомость. В большинстве люди не считают, что разница между оценками в 1 или 2 столь же большая как разница между 4 и 5. По сути это отсекает от шкалы деление. 
2. Объективность. Люди склонны придерживаться общего мнения, поскольку приспосабливаемость заложена в человека природой. Если вы видите пятёрки, то, при своём желании оценить негативно, вам захочется поставить скорее 3 а не 1. В объективном рейтинге до вашей оценки результат не показывают.
3. Сравниваемость. Оценка зависит от окружения. Если оценивают единственную бургерную на деревне, то ей поставят пятерок, поскольку для деревни это центр цивилизации, культуры и общения. В то же время, более крутая бургерная в большом городе получит средние оценки, поскольку есть и другие заведения.

Можете заметить, что эти пункты ведут к неравномерному и необъективному распределению оценок.

Как же сделать оценки полезными? Правильная стратегия для простого пользователя — занижать оценку. Если вы хотите, чтобы оцениваемый вами объект оставался таким же или даже развивался не следует ставить ему высоких оценок. Найдётся кто-нибудь другой, кто поставит высокие оценки. Вам же надо в оцениваемом сохранить желание стать лучше, а значит высокая оценка должна оставаться недостигнутой. На один кол надо хотя бы семь пятерок, чтобы вывести средний бал до 4,5 — которые могут быть округлены до общих 5.

Закончу историей из жизни. Мне повезло наблюдать такие системы уже давно — у меня было несколько учителей, в школе и институте, которые удерживали шкалу в равновесном состоянии. Система в среднем примерно такая: в качестве плохой оценки ставили только кол, а вот двойку надо было ещё как-то заслужить, и ответить что-то правильно. Соответственно, 3 это была нормальная оценка. Четверки ставили выдающемуся полному ответу, а 5 можно было заслужить только если из твоего ответа учитель узнал что-то новое. Не запирая себя в «вежливых 3-4-5» это позволяло учителям намного точнее вести учёт. Разумеется, все отличники паниковали когда встречались с такими отличными традициями и повышенной объективностью.

Ну и кстати, про оценочную штуку не моём сайте https://vovkasolovev.ru/blog/reseach/