Обсуждаем систему оценок ИФЭЯ Опции

[Али Йен]

Приглашаю всех желающих не засорять рабочую тему конкурса и высказываться о системе ИФЭЯ здесь.

[Fr0st Ph0en!x]

Мне не нравится. Какой-то закос по объективность при полной субъективности итоговой оценки. В итоге ни два, ни полтора. Считать эту "систему" проработанной хоть в какой-то мере - не могу.

[Гость_Monk_*]

Считаю любую систему оценок необъективной. Литературу не разложить, как таблицу Менделеева, она слишком сложна для подобного анализа. Какие критерии ни придумывай, все равно пролезет вкусовщина и прочее, отнюдь не литературное. Не стоит и заморачиваться.

[Fr0st Ph0en!x]

Есть вполне объективные критерии качества текста. Новизна идеи, к примеру. Или стилистическая грамотность (нравится или не нравится тот или иной стиль - уже другой вопрос).
В школьные годы Фростъ Фениксъ писал отзывы, оценивая текст по следующим критериям:
~Первое впечатление
~Сюжет
~Атмосфера
~Оригинальность
~Герои
~Стиль и выразительность
~Логическая целостность
~Содержание/смысл
~Орфография/пунктуация
~Личное мнение ФФ
Как видно, тут субъективные критерии таки сочетаются с объективными. Хотя сейчас писать отзывы по этой схеме Фростъ Фениксу откровенно лень.

[Али Йен]

Считаю любую систему оценок необъективной. Литературу не разложить, как таблицу Менделеева, она слишком сложна для подобного анализа. Какие критерии ни придумывай, все равно пролезет вкусовщина и прочее, отнюдь не литературное. Не стоит и заморачиваться.

Согласен со всем, кроме последнего.
Заморачиваться стоит.
Дело ведт вот в чём: здесь, на конкурсе, применяется совсем другой подход - топовая система.
И ИФЭЯ становится личным делом каждого. А том смысле, что она не очень нужна здесь.
А на тех многих конкурсах, гда надо оценить все рассказы и проставить все оценки по 10 бальной шкале, ИФЭЯ много чего даёт
http://samlib.ru/a/ali_j/scores.shtml

[Али Йен]

Есть вполне объективные критерии качества текста. Новизна идеи, к примеру. Или стилистическая грамотность (нравится или не нравится тот или иной стиль - уже другой вопрос).
В школьные годы Фростъ Фениксъ писал отзывы, оценивая текст по следующим критериям:
~Первое впечатление
~Сюжет
~Атмосфера
~Оригинальность
~Герои
~Стиль и выразительность
~Логическая целостность
~Содержание/смысл
~Орфография/пунктуация
~Личное мнение ФФ
Как видно, тут субъективные критерии таки сочетаются с объективными. Хотя сейчас писать отзывы по этой схеме Фростъ Фениксу откровенно лень.

Только приветствую ваш личный профессиональный подход.
Надо ли доказывать, что последователей будет мало?
Даже те, кто хотел бы воспользоваться вашим подходом должны иметь специальные сведения.
Как сравнивать сюжеты?
Как сравнивать героев?
И т. п.
В ИФЭЕ же никого ничему обучать не надо. Не нужно разъяснять что значит очень интересный, а что значит неинтересный рассказ.
И пусть на здоровье наши интересы разнятся.
Получив 64 (на нашем конкурсе, а... хотя нет, здесь можно и не оценивать) оценки по И (интересу) автор гораздо лучше понимает, заинтересовал ли его рассказ читателей, чем просто по некой средней оценке на конкурсе СИ (например). Аналогично по Э или Я.
Разве не здорово?
Как бы я хотел получать такие простые и понятные цифры. И даже без слов: 2-2-0-0 - и я понимаю, что закрутил интересный рассказ с хорошей концовкой, но не затрагивающий и написанный плохим языком. А сейчас, сколько человек высказывается в среднем по рассказу? Что говорят? Что это значит?
Всё равно - плохая система?

[Fr0st Ph0en!x]

Надо ли доказывать, что последователей будет мало?

Конечно, нет, раз уж и самому Фростъ Фениксу лень.

Даже те, кто хотел бы воспользоваться вашим подходом должны иметь специальные сведения.
Как сравнивать сюжеты?
Как сравнивать героев?
И т. п.

Да ну, все очень просто: оценить, насколько хорошо, неожиданно и ярко построен сюжет (не фабула), довольно просто, если любишь читать. Этот критерий, кстати, из категории объективных. Героев не нужно сравнивать, нужно сравнить, насколько хорошо и непротиворечиво раскрыт тот или иной характер, веришь ли поступкам и словам персонажа, представляется живой человек или картонная функция. Это уже, конечно, субъективный критерий.

В ИФЭЕ же никого ничему обучать не надо. Не нужно разъяснять что значит очень интересный, а что значит неинтересный рассказ.

Проблема в том, что этот критерий чрезвычайно размыт, внутренне противоречив (в силу различий аудитории), а, следовательно, ничего автору не скажет, кроме как понравился текст или нет. Что конкретно понравилось\не понравилось, можно указать в пояснении, но зачем тогда вообще эта формальная оценка? Что она дает автору? Я не понимаю.
Более того, трехбалльная шкала вообще ущербна сама по себе, поскольку не дает сколь-нибудь цельной дифференцированной картины.
Ну, и я уже упоминал о моей главной претензии к вашей системе: она вообще не содержит ни одного объективного критерия. А значит, ничем не отличается от житейского комментария без оценки.

Как бы я хотел получать такие простые и понятные цифры.

Я - ни в коем случае. Меня бы гораздо больше устроило, если бы человек поделился своим субъективным мнением безо всякой натужной формализации.

Всё равно - плохая система?

Считаю, что да. Ущербная в основе своей.
Второй из главных недостатков вашей системы - чрезвычайная размытость и "перекрещиваемость" разных критериев.

[Лилэнд Гонт]

Система хороша, когда приходтся оценивать большое количество рассказов, но в ней есть серьезные недостатки.
Во-первых я бы упрал пункт №2 Финал. Сейчас объясню почему.
Все наверно смотрели сриал Lost (Остаться в живых). Сериал интересный, но концовка тупая. Хотя мне не было жалко потраченого времени. Я смотрел и мне было интересно.

Пункт № 3 Эмоции
Всегда ли интересное произведение должно вызывать эмоции?
Я думаю - нет. Бывает такое что эмоций никаких, а читать интересно и дочитываешь до конца.
Эмоций не вызвало - но было интресно.

Пункт № 4 Язык
Языки разные бывают, равно как и стили. И опять же это никак не влияет на интересность рассказа.

Поэтому чтобы усовершенствовать эту систему я предлагаю такое:

Пункт №1 Интерес (0,1,2)

Пункт № 2 Идея (интересность идеи 0,1,2)

Пункт № 3 Читабельность (легко читается или нет, здесь только 0 или 1)

Ну и можно ещё добавить такой немаловажный пункт как:

Пункт № 4 Грамотность (сюда входит и орфография и стилистика и пунктуация - тоже самое 0 или 1)

В общем получается ИИЧГ )))

[Эээх]

Али Йен
Вот я сейчас прочитал рассказ "Пополам". Оценки ваши увидел, но не увидел объяснения и обоснования.
Вы проставили 0001

Рассказ показался вам неинтересным? Почему? ПО мне так он очень необычен и самобытен, а, стало быть, и интересен.

Дальше - финал. Вы пишете в обоснованиях, что, мол, подавай вам "аккордный" финал. А ведь "аккордность" финала - это не единственный вариант. Ударная концовка - это не единственно возможный логический выход из ситуации или истории.
Рассказ "Пополам" имеет пусть и предугадываемую концовку, но очень милую и, главное - естесственную, в предоставленных автором условиях, концовку. У вас же стоит - ноль.

Эмоции. Ну, тут не могу спорить. Рассказ не вызвал у вас эмоций. Однако же задать вопрос могу: почему?

С языком - все понятно. Не выдающийся, но и неплохой. Единичка, скорее всего, справедлива.

Нет-нет. Я не спорю с ИФЭЯ, как с системой, позволяющей одному конкретному оценщику проранжировать произведения. Проранжировать, что естесственно, через призму собственного восприятия. Я это говорил с самого начала. Я лишь призываю вас, да и себя тоже подумать над критериями. Одно предложение я уже вносил и, как мне кажется, вполне нормально обосновал.

Да, кстати, поменяйте ссылочку на систему оценок, чтобы люди приходили не в начало страницы, а сразу на сообщение:
http://fantasts.ru/forum/index.php?s=&...ost&p=36195 Только копируйте не отсюда, а пройдите по ссылке и возьмите из адресной строки. Или найдите свое сообщение, нажмите мышкой на его номер (правый верхний угол), копируйте из появившегося окна.

[Али Йен]

Проблема в том, что этот критерий чрезвычайно размыт, внутренне противоречив (в силу различий аудитории), а, следовательно, ничего автору не скажет, кроме как понравился текст или нет.

...но зачем тогда вообще эта формальная оценка? Что она дает автору? Я не понимаю.

Более того, трехбалльная шкала вообще ущербна сама по себе, поскольку не дает сколь-нибудь цельной дифференцированной картины.
Ну, и я уже упоминал о моей главной претензии к вашей системе: она вообще не содержит ни одного объективного критерия. А значит, ничем не отличается от житейского комментария без оценки.

Я - ни в коем случае. Меня бы гораздо больше устроило, если бы человек поделился своим субъективным мнением безо всякой натужной формализации.

Попробую кое на что ответить, хотя прочесть саму статью было бы проще. А может и не проще, но лучше!
1. Это сейчас (речь о 10 бальной системе) в оценке нет никаких объяснений. 5, 6, 7 - какая в них разница?
В ИФЭЯ всё понятно: интерес - финал - эмоции - язык. 2-1-1-1 и 1-1-2-1 несут совершенно разную информацию вместо 5 и 5.
Научится понимать этот код - очень просто. Инак, на вопрос, что это даёт автору, ответ - информацию, реакцию читателя.
Конечно балл от 1 до 10 тоже даёт, но гораздо более туманную.

2. Смстема ИФЭЯ не трёхбальная , а 4х4х3х3=144 бальная. Столько разных комбинаций оценки может быть. Если не понятно, потом объясню.

3. О, конечно живое объяснение лучше. Разве об этом разговор? Разговор о том, что, заменив простую 10 бальную систему на систему типа ИФЭЯ вы автоматически получаете от каждого участника отзыв. Простой, примитивный, как пайка хлеба (но их - много!)
А вы говорите, что рагу лучше. Конечно, особенно в катакомбах, где и хлеба-то не дают. Разве это - спор?

[Али Йен]

Система хороша, когда приходтся оценивать большое количество рассказов, но в ней есть серьезные недостатки.
Во-первых я бы упрал пункт №2 Финал. Сейчас объясню почему.
Все наверно смотрели сриал Lost (Остаться в живых). Сериал интересный, но концовка тупая. Хотя мне не было жалко потраченого времени. Я смотрел и мне было интересно.

Разумеется, речь идёт о больших количествах и рассказов, и читателей. Вот, например, из 35 отзывов 29 указывают за И (интерес) 3-ки и 2-ки и лишь шестеро - высокие баллы 2-ки за Э (эмоции). Вам это что-то скажет?
Теперь - ваш пример. Он очень хороший. За интерес - высокая оценка, за финал - 0!
Правильно. Мы хотим рассказы с клёвым финалом! Это - фантастика! Это - приключения, а не угрюмость ...

Пункт № 3 Эмоции
Всегда ли интересное произведение должно вызывать эмоции?
Я думаю - нет. Бывает такое что эмоций никаких, а читать интересно и дочитываешь до конца.
Эмоций не вызвало - но было интресно.

Опять, совершенно согласен! Поэтому оцениваем отдельно интерес и отдельно эмоции.
А если и интересно, и эмоционально - суммарная оценка выйдет выше, чем только за одно или за другое.

Пункт № 4 Язык
Языки разные бывают, равно как и стили. И опять же это никак не влияет на интересность рассказа.

Правильно. Не влияет. За интерес - отдельная оценка. За язык - отдельная.
Полюса редки: очень много ошибок, приводящих к непониманию текста, обороты ("стремительные домкраты"), канцелярит. Есть много способов испортить текст. Красивый язык - большрй труд. Во многих рассказах хороший язык - 1 балл.

[Fr0st Ph0en!x]

Попробую кое на что ответить, хотя прочесть саму статью было бы проще. А может и не проще, но лучше!

Я читал, не убедило.

5, 6, 7 - какая в них разница?

Они дают возможность гораздо более тонкой оценки. Разумеется, если оценивать тоже по конкретным критериям.

Инак, на вопрос, что это даёт автору, ответ - информацию, реакцию читателя.

...которая ничем, в сущности, не отличается от обычного субъективного отзыва в стиле "Понравилось то-то и то-то, автор молодец". Смысл тогда городить огород? Либо вводить тогда объективные критерии наряду с субъективными, либо лучше обойтись без неуместного формализаторства вкусовщины.

2. Смстема ИФЭЯ не трёхбальная , а 4х4х3х3=144 бальная. Столько разных комбинаций оценки может быть. Если не понятно, потом объясню.

Фростъ Фениксъ говорил об оценках по критериям.

Разговор о том, что, заменив простую 10 бальную систему на систему типа ИФЭЯ вы автоматически получаете от каждого участника отзыв. Простой, примитивный, как пайка хлеба (но их - много!)
А вы говорите, что рагу лучше. Конечно, особенно в катакомбах, где и хлеба-то не дают. Разве это - спор?

Я не говорил, что ваша система хуже той же СИ-шной. Но она коренным образом неполноценна.

[Али Йен]

Али Йен
Вот я сейчас прочитал рассказ "Пополам". Оценки ваши увидел, но не увидел объяснения и обоснования.
Вы проставили 0001

Да, кстати, поменяйте ссылочку на систему оценок, чтобы люди приходили не в начало страницы, а сразу на сообщение:
http://fantasts.ru/forum/index.php?s=&...ost&p=36195 Только копируйте не отсюда, а пройдите по ссылке и возьмите из адресной строки. Или найдите свое сообщение, нажмите мышкой на его номер (правый верхний угол), копируйте из появившегося окна.

Я после окончания судейства попробую ответить на ваши вопросы. Хотя, объяснить, почему рассказ показался неинтересным может оказаться нелёгким делом. Для одного - знакомство с темой, для другого - нелюбовь к теме. Третий - ещё что-то.
Вообще говоря никто не обязан давать обоснования, поэтому использование системы мне кажется полезным. Без слов я передал автору своё субъективное мнение по четырём параметрам. Дело автора проанализировать множество таких однородных ответов и определить, как читатели восприняли его рассказ.
Спасибо за подсказку с ссылкой.
Али.

[Али Йен]

[quote name='Fr0st Ph0en!x' date='12.11.2011, 0:56' post='39634']
Цитата(Али Йен @ 12.11.2011, 2:31)
Попробую кое на что ответить, хотя прочесть саму статью было бы проще. А может и не проще, но лучше!

Я читал, не убедило.

Извиняюсь, что заподозрил обратное, но вы и многие читатели, повторяют вопросы, на которые в статье имеется ответ. Поэтому возникает такое впечатление. Что ж, будем работать.

Цитата(Али Йен @ 12.11.2011, 2:31)
5, 6, 7 - какая в них разница?

Они дают возможность гораздо более тонкой оценки. Разумеется, если оценивать тоже по конкретным критериям.

Неправда ваша. Вот вы привели 7-8 критериев (ну, как вы это делали) и в целом пять баллов. Меньше 1 балла на критерий. О какой полноте речь?
Значит, оценивали вы иначе: признак присутствует 1 балл, отсутствует – 0 баллов. Тогда можно за 8 признаков набрать 5 баллов. Но такой подход я бы назвал совершенно негибким и ущербным. Он не позволяет взвешивать критерии, а в общей куче не даёт автору никакой информации о проделанной работе и суммарной ошибке. Не говоря о том, что если своей системой пользуется каждый судья, то автор вообще ничего не понимает.

Цитата(Али Йен @ 12.11.2011, 2:31)
Итак, на вопрос, что это даёт автору, ответ - информацию, реакцию читателя.

...которая ничем, в сущности, не отличается от обычного субъективного отзыва в стиле "Понравилось то-то и то-то, автор молодец". Смысл тогда городить огород? Либо вводить тогда объективные критерии наряду с субъективными, либо лучше обойтись без неуместного формализаторства.

Я же уже ответил на этот вопрос. Не понятно? Отзыв всегда лучше. Но в основном отзывов нет! Оценка – не читается или едва-едва (крайние оценки понятны). Оценка и-ф-э-я краткая, понятная, унифицированная система кода. Многим лень писать отзыв, а поставить четыре цифры – нет. Автор сам сложит и получит 5, 6, 7, в которых вы полагаете «больше тонкой оценки».

Цитата(Али Йен @ 12.11.2011, 2:31)
2. Смстема ИФЭЯ не трёхбальная , а 4х4х3х3=144 бальная. Столько разных комбинаций оценки может быть. Если не понятно, потом объясню.

Фростъ Фениксъ говорил об оценках по критериям.

Ну, и что? Неправильно о них говорить. Четыре критерия с глубиной 4 и 3 дают именно 144 разных возможных оценок, читаемых по-разному. А при простой 10-бальной?

[Fr0st Ph0en!x]

Неправда ваша. Вот вы привели 7-8 критериев (ну, как вы это делали) и в целом пять баллов. Меньше 1 балла на критерий. О какой полноте речь?
Значит, оценивали вы иначе: признак присутствует 1 балл, отсутствует – 0 баллов. Тогда можно за 8 признаков набрать 5 баллов. Но такой подход я бы назвал совершенно негибким и ущербным. Он не позволяет взвешивать критерии, а в общей куче не даёт автору никакой информации о проделанной работе и суммарной ошибке. Не говоря о том, что если своей системой пользуется каждый судья, то автор вообще ничего не понимает.

Фростъ Фениксъ там общую оценку вовсе не ставил, а оценки по каждому из критериев ставились по десятибалльной шкале, да еще и с десятыми. Получалось десять отдельных оценок. При желании потом можно вывести среднее арифметическое.
Если это не гибкость, то я не знаю, что вы можете назвать гибкостью.
Вообще, Фростъ Фениксъ о той своей системе вспомнил исключительно в связи с тотальной субъективностью вашей системы. Продвигать свою старую систему в жизнь он не собирается.

Я же уже ответил на этот вопрос. Не понятно? Отзыв всегда лучше. Но в основном отзывов нет! Оценка – не читается или едва-едва (крайние оценки понятны). Оценка и-ф-э-я краткая, понятная, унифицированная система кода. Многим лень писать отзыв, а поставить четыре цифры – нет. Автор сам сложит и получит 5, 6, 7, в которых вы полагаете «больше тонкой оценки».

Я просто не могу понять, зачем формализовывать вкусовщину. А мнение читателя всегда понятно по отзыву, поэтому лично для меня какие-то циферки, номинально конкретизирующие то же самое субъективное впечатление, вообще никакой роли играть не могут. Могут только вызвать недоумение.
Единственный плюс, который я вижу в этой вашей системе - что она оптимально подходит для самых ленивых читателей, которые обычно ограничиваются комментами а-ля "Ниасилил". Т.е. да, тогда она чуть-чуть конкретизирует впечатление такого читателя.

Четыре критерия с глубиной 4 и 3 дают именно 144 разных возможных оценок, читаемых по-разному.

Сами оценки по критериям получаются деревянными совершенно, вот я о чем.

А при простой 10-бальной?

Ну так почему же вы решили, что Фростъ Фениксъ - ее сторонник? Ведь я уже сказал, что ваша система ничем не хуже.

[Али Йен]

Фростъ Фениксъ там общую оценку вовсе не ставил, а оценки по каждому из критериев ставились по десятибалльной шкале, да еще и с десятыми. Получалось десять отдельных оценок. При желании потом можно вывести среднее арифметическое.
Если это не гибкость, то я не знаю, что вы можете назвать гибкостью.

Единственный плюс...

Ведь я уже сказал, что ваша система ничем не хуже.

Конечно гибкость. Но как кабаллистические знания. которми никто не пользуется.
Вот вы уже стали находить плюсы. И главный - в том, что если все судьи воспольщуются одной системой, то результат будет чёток и всем понятен. А если ей пользуется один человек, то какая бы чудная и гибкая система не была - пользы от неё не будет. Потому что мнение этого судти нельзя будет ни с чьим сравнить. А ИФЭЯ по многим свойствам лучше простой 10-бальной.

[Fr0st Ph0en!x]

Почему вы принципиально отказываетесь ввести в оценку объективный компонент?

В конкурсах, которые проходят на моем родимом форуме, система оценки несколько проще. Рассказы оцениваются жюри по следующей единой схеме:
1. сюжет
2. стиль
3. грамотность
4. соответствие заданной теме
5. язык в целом

Оценка по каждому пункту - от 1 до пяти, обычно - без дробного компонента, в итоге высчитывается среднее арифметическое всех пяти оценок, которое и становится основной оценкой. Кроме того, к этой оценке каждый из членов жюри может добавить от 0.1 до 1 балла за наличие оригинальных авторских находок (любого плана).
Пятый пункт, по-моему, совсем ни о чем, поскольку я так и не понял, чем он существенно отличается от второго. Можно его чем-нибудь заменить.
А четвертый совершенно обязателен для оценки конкурсного рассказа.

[pm124]

Зачем себя загонять в рамки? Про то, что система не учитывает "отвечает ли заданной тематике рассказ" уже говорили.

Скажу вот еще о чем. Иногда иной рассказ не хочется читать. Что делать в этом случае? Как оценивать финал?

[Лилэнд Гонт]

иной рассказ не хочется читать. Что делать в этом случае? Как оценивать финал?

Поставить 0 и идти дальше ))

[Али Йен]

Зачем себя загонять в рамки? Про то, что система не учитывает "отвечает ли заданной тематике рассказ" уже говорили.

Скажу вот еще о чем. Иногда иной рассказ не хочется читать. Что делать в этом случае? Как оценивать финал?

Я вас понимаю. И вы правы по отношению к данному конкурсу. В топовой системе нет занудства обязательного чтения всех рассказов всеми участниками. Это большой плюс. Зато оценка складывается из "верхушки айсберга". Выиграть может рассказ, который отметило несколько участников из толпы, потому что каждый отметил своё (а не всё!), каждый рассказ получил по 3 - 4 сторонника, а победитель - 7, например. Разве это статистика? Это большой минус топовой системы. На Грелке постоянно кто-то думает, что друзья договорились и утопили всех. Я в это не верю, но сторонники всегда находятся.