Проблема систем рейтинга и оценок

Сегодня системы рейтинга в виде оценок есть у всего, от простых комментариев до автомобилей, недвижимости и корпоративных услуг. Такие системы работают не так как задумывались и не дают объективности. Вот кратко почему, исходя со слов мировых разработчиков и моим наблюдениям.

Для начала пример. Довольно давно на сайте Одноклассников сложился культурный код, по которому нельзя фотографиям ставить ничего кроме 5, иначе это проявление неуважения в духе «Тебе что-то не понравилось так, что не смог промолчать?»

Подобная метаморфоза просто приводит к утрате объективности оценки. И если в одних случаях в этом нет ничего страшного, то в других на этом выстроена система ранжирования, определяющая насколько вы будете успешны. То есть, в случае с фотками в Одноклассниках это нормально, оценки ни на что не влияют и, конечно, были зря спроектированы именно как оценки — там же не фотоконкурс. Фотографии в ОК требуют только отметки о просмотре как социального одобрения, лайка, к чему коллективное-бессознательное этот интерфейс и привело. (Думаю, они там появились из-за простой стилизации: Одноклассникни → школа → там ставят оценки).

Оценок, обычно, пять штук, в виде звездочек. Независимо от качества математической модели реализации системы оценок (от простого вычисления среднего и до анализа накруток и учёта периода времени) объективность шкалы в 5 звездочек страдает из-за нескольких проблем со стороны человека, вот три характерных:

  1. Весомость. В большинстве люди не считают, что разница между оценками в 1 или 2 столь же большая как разница между 4 и 5. По сути это отсекает от шкалы деление. 
  2. Объективность. Люди склонны придерживаться общего мнения, поскольку приспосабливаемость заложена в человека природой. Если вы видите пятёрки, то, при своём желании оценить негативно, вам захочется поставить скорее 3 а не 1. В объективном рейтинге до вашей оценки результат не показывают.
  3. Сравниваемость. Оценка зависит от окружения. Если оценивают единственную бургерную на деревне, то ей поставят пятерок, поскольку для деревни это центр цивилизации, культуры и общения. В то же время, более крутая бургерная в большом городе получит средние оценки, поскольку есть и другие заведения.

Можете заметить, что эти пункты ведут к неравномерному и необъективному распределению оценок.

Как же сделать оценки полезными? Правильная стратегия для простого пользователя — занижать оценку. Если вы хотите, чтобы оцениваемый вами объект оставался таким же или даже развивался не следует ставить ему высоких оценок. Найдётся кто-нибудь другой, кто поставит высокие оценки. Вам же надо в оцениваемом сохранить желание стать лучше, а значит высокая оценка должна оставаться недостигнутой. На один кол надо хотя бы семь пятерок, чтобы вывести средний бал до 4,5 — которые могут быть округлены до общих 5.

Закончу историей из жизни. Мне повезло наблюдать такие системы уже давно — у меня было несколько учителей, в школе и институте, которые удерживали шкалу в равновесном состоянии. Система в среднем примерно такая: в качестве плохой оценки ставили только кол, а вот двойку надо было ещё как-то заслужить, и ответить что-то правильно. Соответственно, 3 это была нормальная оценка. Четверки ставили выдающемуся полному ответу, а 5 можно было заслужить только если из твоего ответа учитель узнал что-то новое. Не запирая себя в «вежливых 3-4-5» это позволяло учителям намного точнее вести учёт. Разумеется, все отличники паниковали когда встречались с такими отличными традициями и повышенной объективностью.

Ну и кстати, про оценочную штуку не моём сайте https://vovkasolovev.ru/blog/reseach/

10 простых видео уроков чтобы повысить КПД ума! Для этого всего лишь надо…

Мне повезло, меня окружают умные люди, одно удовольствие соседствовать с вами. Но, иногда я замечаю, что кто-то где-то даёт слабину и начинает рассказывать какую-нибудь глупость. Типа, про религию или гомеопатию, хотя давным давно понятно, что время не стоит тратить даже на их упоминание. Словно забывают, что узнали в школе и институте. А без уроков, регулярного информационного массажа мозга пропадает критическое мышление, забывается принципы научного знания, верифицируемости, фальсифицируемости. Друзья, борьба с невежеством должна идти беспрерывно и по всем фронтам! Вспомните какими тупыми вы считали взрослых в детстве — повзрослев не будьте такими сами.

Множество уроков, лекций и ликбезов

Во-вторых, замечаю в людях замыкание на собственных интересах. Обязательно надо вынимать голову из своего мира и погружать в чужой. Всё распространенное, что вы не понимаете, надо не избегать, а принимать как данность и изучать. Впечатления от непривычного, при равных затратах, намного ярче, чем если заниматься чем-то давно знакомым.

Поэтому, я вам сейчас порекомендую просто потрясающих лекторов, эмси науки, приятных и харизматичных популяризаторов научных знаний. Конечно, есть и другие достойные упоминания, но вот эти — невероятное КПД. Напоминаю, что лекции на ютубе удобно смотреть на повышенной скорости — в настройках, за шестеренкой есть «Скорость воспроизведения». Запасите лекции на будущее и смотрите пока параллельно делаете свои дела — это не кино, пристального внимания лекции не требуют, да и иначе вы столько времени и не найдёте.

Александр Панчин

Чародей арументов и воин света против лженауки. Обладает магией высмеять и обезоружить ересь одним махом. Познакомьтесь через видео о 10 заблуждениях https://youtu.be/ky-9CKqf0GE

Много! На канале SciOne ведёт серию роликов о разоблачении заблуждений, например, про природу самообмана https://www.youtube.com/watch?v=l5GXreytWVw, или на канале Querty — про ужасы ГМО https://youtu.be/rb-_0P4224I. Всё что в поиске находится по запросу «Александр Панчин» надо смотреть.

Ася Казанцева

Нейробиолог и научный журналист. Говорит коротко и по делу. Очень сообразительно смешно и моментально шутит, но мало кто догоняет сразу. Начните с очень ёмкой и понятной лекции про то, что такое сон и как правильно спать https://youtu.be/a0ftuZpigug.

Ещё, например, про то как нас обманывает наш мозг https://youtu.be/rWuqOvEHFO4 и про то, что вы слишком много едите https://youtu.be/NgOVN4050ow. Просто хорошее общение в KuJi Podcast про всё понемногу https://youtu.be/nl91kscg4lA. Посмотрите всё, что можно найти по запросу «Ася Казанцева».

Станислав Дробышевский

Царь природы, вершина эволюции и антропогенезу пример. Много помнит, легко вспоминает и хорошо говорит на разнообразные темы. Очень интересно про то, как устроены общества у обезьянок и людей https://youtu.be/8RRZku4fpWE

Про происхождение человека https://youtu.be/kMNA2YNEM5g. Про искусство у неандертальцев https://youtu.be/AZO65tKeQHY на канале «Архэ», который так же заслуживает внимания. Стоит посмотреть всё, что находится по запросу «Станислав Дробышевский».

Миллион человек не могут ошибаться

Жесть и ярость! Есть такая фраза «миллион человек не могут ошибаться». Её используют в качестве подтверждения правильности чего-либо. Когда я её вижу, моя вера в логику и здравый смысл пошатывается. Как можно такое писать? Существует неисчислимое количество простых и сложных примеров когда ошибаются или находятся в добросовестном заблуждении миллионы людей разом. Использовать в качестве подтверждения чего-либо такую фразу глупо.

Только в известной нам истории люди верили в приведений, в чудеса бога, в плоскую землю, лечились мышьяком, и заряжали воду от телевизора. Да сразу к закону Годвина — в гитлеровской Германии жило 70 млн. человек. Даже верные сегодня сущности, завтра могут перестать быть такими на фоне новых появившихся. Вы сейчас читаете и даже не догадываетесь, что через несколько лет что-то окажется ошибкой.

Люди всегда массово заблуждаются и будут дальше так делать из-за собственной природы, такой нас сделала эволюция. Не позволяет мир, человеческий мозг и время всё проверить, а выживают только приспособившиеся — эти строки читают только те, чьи предки включили механизм доверия.

Наоборот, невозможно найти что-либо, в чём бы было уверено большое количество человек, и это бы было объективно нечто с высокой степенью верное.

Медвежий совет

— Подскажите как решить проблему «А»!
— Советую решение проблемы «Б», сам пользуюсь, жизни без него не представляю.
— Мне надо решить проблему «А», решение от «Б» не подходит.
— Обычно у большинства проблема «Б». Я очень люблю решение «Б»! А ты даже не попробовал!
— Решение «Б» для пути №2, я выбрал путь №1 там негде применять решение «Б».
— Тебе надо переходить на путь №2.
— Нет, не надо.
— Ты не принимаешь никакие мои советы. Вот и помогай после этого…

Конечно идёт война — я видел по телевизору!

Смерть это ужасно, я не буду говорить про погибшего в Сирии пилота Романа Филипова. Обращу внимание на машину пропаганды, новости и тэг #ЭтоВамЗаПацанов, к которым пилот не имеет личного отношения. Сейчас новость о сбитом лётчике, звучит на всех медиа: поразительно, как от риторики «одна из новостей — мы воюем в Сирии» машина наполняет воздух отечества сплачивающим «Гибнут русские герои». Особо удивляет, что всё это, если посмотреть отстранено, очень напоминает эпизод из фильма «Wag the dog» (1997, «Плутовство» или «Хвост виляет собакой») про забытого солдата подразделения 303, после того как государство прекратило военные действия в далёкой стране.

Если вы не смотрели фильм, советую к обязательному просмотру. Он о том, как во время предвыборной гонки политтехнолог выдумывает войну и её подробности, чтобы люди сосредоточили внимание на действиях действующего президента. Фильм скорее сложный при первом просмотре, но разобравшись, заметите, что там достаточно много сглаживающих упрощений, а  глядя из реальности нашей страны фильм даже наивен. Cнят по книге «Американский герой», её я не читал, рекомендовать не буду, но может кому-то будет интереснее прочитать. И хотя в кино по сюжету нет войны, и речь про США, но суть — манипуляция фокусом внимания — одна и та же.