Какая система оценки лучшая?

Автор: Татьяна Кигим

О том, какая система оценки на конкурсах – лучшая, дебаты ведутся бесконечно. В эти дискуссии мы влезать не будем. В данной статье предпринята всего лишь скромная попытка некоторой систематизации систем оценивания с выделением их плюсов и минусов. Если вы с чем-то не согласны, устроить холиварчик можно в комментариях.

Системы оценивания в конкурсах можно разделить на несколько видов: 1) оценивает жюри; 2) самосуд; 3) смешанные (например, у журнала «Химия и жизнь»); 4) оценивают все, кому не лень (рейтинги на сайте, sms-голосовние).

Начну с последнего пункта, чтобы больше к нему не возвращаться: sms-голосование полезно для сбора средств на конкурс, голосование читателей – для общего развлечения народа, но эти виды голосования обычно ставятся как дополнительные (приз «Любимец публики», например), поскольку ни малейшей репрезентативности не имеют.

Оценка жюри в составе редакторов, писателей, более-менее известных критиков считается самым престижным вариантом. Конкурсы журналов и издательств, как правило, проводятся именно с этим вариантом отбора. (Есть в сети и конкурсы с вариантами жюрения «я и мои друзья», всяких мелких литклубов и т. п., но это уже междусобойчики, которые мало кого интересуют; от весомости членов жюри во многом зависит престиж конкурса). Минус – жюри надо привлечь, организовать, найти время. Поэтому часто сроки объявления результатов переносятся именно на конкурсах с жюри.

Обычно жюри судят только уже отобранные «сливки», а то ж нереально прочитать сотни рассказов, 9/10 из которых просто бредовы.

Как вариант, чтобы разгрузить жюри, используется система преноминации. Иногда преноминаторов озвучивают, но так как это часто вызывает срач среди графоманов, которых сразу развернули с порога за несвязный бред, часто пишут что-то вроде «преноминация осуществляется командой редакции». И солидно, и достаточно обтекаемо.

Иногда используется смешанный вариант (первый тур – самосуд, второй – жюри). В этом случае жюри также избавлено от необходимости читать груду хлама, но некоторые журналы, например, «Химия и жизнь» и др., подстраховываются – редакция имеет право вывести во второй тур несколько рассказов, несправедливо загнобленных, но соответствующих формату издательства. Впрочем, при отсеве ½, 1/3 и даже ¾ редко бывает, чтобы что-то приличное не проходило, это достаточно «широкие ворота», но чем выход уже (5 – 6 на 30 – 40, например), тем конкуренция жестче, повышается зависимость от силы групп и др. факторов, и многие достойные работы «пролетают».

Как может судить жюри. Ну, тут зависит от наличия у жюри времени. Самый крутой вариант – каждый член жюри ставит оценку и высказывает своё мнение по каждой конкурсной работе (или по каждой финальной). Обычный вариант – только ставит оценку и хранит гордое молчание. Иногда может опубликовать свое мнение по самым лучшим, худшим или выборочно – которые зацепили, или просто потрындеть об уровне конкурса, «какие вы все графоманы» и прочих судьбах литературы.

Самый простой способ – жюри просто объявляет лонг-лист и шорт-лист. Так делали «Факультет» МГУ, «Ужас-2006» издательства Сомбра и журнала «Мир фанатастики» и др. Плюс – даже если кто-то из жюри схалявит и откажется дочитывать рассказы, этого никто не узнает. Минус – из-за явной непрозрачности системы начинается потрясающий срач. Такой срач, например, был на «Ужасе-2006», так что даже организовали параллельный опрос участников форума, какой рассказ они считают самым сильным.

Как можно выставлять оценки. Простейшая система – пятибалльная (семибальная, десятибальная).

Иногда для равновесия жюри обязуется выставлять одну оценку равное количество раз (например, на группу из 30 человек – три десятки, три единицы и т. п.). Обычно этот метод используется во втором туре, куда выходит 10 человек на 10 оценок. Система неплохая, но лучше её не использовать – очень она обидна для участников. На деле получается рейтинговая, а не оценочная система. Кто-то обязательно должен оказаться худшим – получить единицу. Но речь-то, как правило, идёт о финалистах, то есть о рассказах неплохого уровня.

Образно выражаясь, если у нас собрались Толстой, Достоевский, Ремарк, Хэмингуэй и т. п., рейтинговая система предусматривает, что кто-то обязательно должен получить единицу (а также двойку, тройку…). А у них, возможно, рассказы почти равны, и при свободной системе оценивания они бы получили все по 7 – 10 баллов, и разрыв шёл бы на десятые балла. А так кого-то «опускают». А учитывая, что у жюри разное мнение… то «опустить» могут каждого по разу. Какой это срач и какие скандалы на тему «вы что, считаете, что мой рассказ заслуживает единицы?!» - объяснять, думаю, не надо.

«Безымянная звезда» ("Творческая мастерская") использовала систему оценок по трём параметрам для каждого рассказа: стиль, сюжет, мысль (идея), определяя победителя в каждой номинации. Неплохо получилось.

Похожую систему использовалась на конкурсе короткого рассказа в блоге Галины Шефер "Сетература".

Применяется также система, близкая к лонг-листу, но от каждого члена жюри: то есть жюрь не оценивает каждый рассказ, а выбирает, скажем, три лучших. Потом это дело обсчитывается (например, каждый выбранный рассказ получает балл, потом читают, у кого больше, кого чаще называли жюри среди лучших). Система неплоха тем, что сочетает и определённую прозрачность, и не слишком обременительна для жюри.

Существуют также очень сложные системы подсчёта баллов, как, например, у чикагского «Искателя», но это уже мозголомство.

Про самосуд. Самосуд применяется во многих отборочных турах перед оценкой жюри, а также в куче конкурсов, не нашедших «жюрей». Из них весомыми считаются два: Рваная Грелка и Мини-Проза.

Рваная Грелка берёт харизмой, историей, беспределом и от жюри отказ вполне принципиальный, так как это «разборки профессионалов» с допущение к боксёрской перчатке новичков. Специфическое мероприятие, во многом тусовочное.

Мини-проза время от времени использует систему жюри параллельно самосуду, но чаще всего просто высылает финал (или 10 лучших) партнёру конкурса (издательству, журналу), а редакция или издательство уже само решает, печатать что-то или не печатать. (Из самосудных конкурсов у МП наибольшее количество контактов с редакциями-издательствами и престижные призы, вплоть до ноутбука (но не каждый заход, время от времени)). От редакции-партнёра не требуется оценок и т. п., она просто называет, кого будет публиковать, без комментариев.

Похожая система на Коллекции фантазий: представитель издательства/редакция журнала либо вычитывает финал и выбирает «подходящих», либо только десятку лучших.

На последних Грелках тоже был использован такой подход: сейчас лучшие рассказы предлагает к печати и Рваная Грелка, причём самому авторитетному на сегодня журналу фантастики в России и СНГ – «Если». Редакция журнала выбирает для публикации один или несколько рассказов, причём в их число победитель входит не обязательно.

В общем, это приятное дополнение к общему развлечению.

Сам самосуд осуществляется по нескольким системам. Если есть хороший движок, хотя бы как на Самиздате Мошкова (за что его и использует половина конкурсов, хоть журнальных, хоть междусобойных), можно организовать даже для самосуда выставление оценок по 10-бальной системе. Если движка нет – организатор замучается.

«Безымянная звезда» в отборочном самосуде, как и в жюрейном финале, использовала выставление оценок по трём номинациям (стиль, сюжет, мысль-идея). Хорошая система, но «бедные организаторы». Конкурс, правда, был довольно камерный, за несколько часов подсчитать можно, а если четыреста-пятьсот человек?

Крайне распространена топовая система: каждый участник выбирает шесть лучших рассказов группы (почему шесть? видимо, традиция Грелки, хотя есть и иные варианты) и ранжирует их по «лучше – хуже». Баллы подсчитываются исходя из того, сколько каждому месту присвоили баллов организаторы (например, 6 место – 1 балл, 5 – 2 балла, 4 – 3 балла, 3 – 6 баллов, 2 – 9 баллов, 1 – 12 баллов, могут быть варианты, но обычно примерно с таким разрывом).

Есть и всякие усложнённые методы, призванные добиться максимальной объективности, но это все равно недостижимо, а чем больше система заставляет ломать мозг участнику – тем она больше раздражает. Для любителей математики на движке Мошкова можно выставлять всякие средние баллы, коэффициенты и проч., но идеала всё равно пока не придумали.

Вы решили устроить собственный конкурс?

Некоторые общепризнанные правила, более-менее сглаживающие субъективные факторы.

1. Обязательно, особенно при самосуде, выставление итогового файла с полными данными «кто как голосовал». Зачем это надо: когда известно, что все скрытое станет явным, большинство участников как-то стесняются судить откровенно нечестно. А то выиграешь – а окажется, что ты брал в топ только графоманов, стыдно будет. Ну и развлечение для народа, опять же. Плюс обеспечение прозрачности.

Занятие муторное, обычно итоги даже с наличием движка подводятся несколько часов, а без движка составление итоговых файлов может занять у организаторов сутки-двое. Но файлов с разбивкой все ждут не меньше объявления результатов. Можно ж узнать сколько у тебя каких оценок и т. п.

В конкурсах жюри тоже полезно для участников узнать, кто именно сколько поставил, особенно если не все члены жюри вызывают уважение. Например, мне было бы гораздо обидней получить «пару» от Стругацкого, чем от брутального мясорубщика Головачева…

В общем, практически все приличные конкурсы обеспечивают эту прозрачность. Исключение – лонг-лист жюри и личный отбор редакции-издательства из «лучших».

2. При обилии работ при самосуде требуется разбиение на группы. Можно вслепую, но тогда очень много проблем вызывают «группы смерти», где собрались лучшие, и графоманские группы. При «узких воротах», как на Грелке, это обеспечивает не только уровень драйва, но и градус срача, а в финале могут не оказаться неплохие рассказы «смертников», зато пролезть графоманы из слабых групп. Мини-Проза использует метод «сеяния», разбрасывая известных сильных авторов по группам равномерно.

Если авторы в большинстве своем неизвестны, а группы намечаются – желательно использовать преноминацию, чтобы хотя бы поверхностно проглядев, разбить более-менее равномерно.

При разбивке групп, на горе организаторам, ещё и размер рассказов учитывать приходится.

3. Для объективности при самосуде все участники должны проголосовать. Не голосуешь – слетаешь с дистанции или получаешь штраф в баллах. Чаще всего слетаешь, так как это мощный способ не дать очков конкурентам.

4. Голосовать при самосуде можно как в своей группе, так и в чужой (в зависимости от правил конкурса). И там, и там есть свои минусы. В своей – драйва больше, чужую читать многим лень. Но зато в чужой обычно оценки – объективней.

5. Если рассказов одного участника несколько, обычно разносят по разным группам (чтобы сами с собой не конкурировали), а голосуют в группе по выбору или (чтоб «погремушки» не использовались) там, где самый большой рассказ (из-за чего часто пишут большие «погремухи»). Самосуд соавторов имеет дополнительные правила, очень геморройные и различающиеся по конкурсам. Продумываются в зависимости от каверзности организаторов, во многом зависят от того, один или много рассказов разрешается подавать от человека. Соавторы – вообще отдельная тема для рассмотрения.

6. Независимо от того, самосуд или оценка жюри, все рассказы должны получить одинаковое количество оценок. Краеугольный камень.

Есть ещё куча всякой мелочи и нюансов, но рассматривать уже надо, отталкиваясь от выбранной системы.

Резюме? У каждой системы есть свои плюсы и минусы. Идеальных не бывает. Выбор системы оценивания во многом зависит от целей конкурса и его организаторов. Но, какую бы систему вы ни выбрали – гарантировано: срач по итогам будет обязательно!

=====================

При перепечатке данного материала ссылка на блог Творческие конкурсы обязательна.

Для того, чтобы получать информацию об обновлении библиотеки блога, подпишитесь на новости Творческих Конкурсов.