Обсуждаем систему оценок ИФЭЯ Опции

[Али Йен]

Почему вы принципиально отказываетесь ввести в оценку объективный компонент?

Я не верю в существование "объективного компонента" по определению.

В конкурсах, которые проходят на моем родимом форуме, система оценки несколько проще. Рассказы оцениваются жюри по следующей единой схеме:
1. сюжет
2. стиль
3. грамотность
4. соответствие заданной теме
5. язык в целом

Если "родной" форум - это форум родных однокурсников филфака, то можете брать какие угодно критерии.
Я, например, не знаю, как сравнивать сюжеты. Возможно, это то же самое, что интерес в ИФЭЯ.

Оценка по каждому пункту - от 1 до пяти, обычно - без дробного компонента, в итоге высчитывается среднее арифметическое всех пяти оценок, которое и становится основной оценкой. Кроме того, к этой оценке каждый из членов жюри может добавить от 0.1 до 1 балла за наличие оригинальных авторских находок (любого плана).

Сразу видно отсутствие технических навыков: 5х5=25 баллов вам мало, так вы ещё десятые доли вводите!
Ребята, не смешите.

Пятый пункт, по-моему, совсем ни о чем...

У вас ещё пятый пункт остался?

[Fr0st Ph0en!x]

Я не верю в существование "объективного компонента" по определению.

Ну так это не значит, что такого компонента нет. Посмотрите хотя бы мой список из десяти номинаций. В нем есть минимум три объективных критерия.

Если "родной" форум - это форум родных однокурсников филфака, то можете брать какие угодно критерии.

Не, это форум, на котором Фростъ Фениксъ уже лет эдак семь тусуется, там довольно сильный творческий раздел и интересные люди.

Я, например, не знаю, как сравнивать сюжеты. Возможно, это то же самое, что интерес в ИФЭЯ.

Хоссподи, объясните мне, зачем их сравнивать между собой? Зачем?!
Отдельно, независимо от остальных, оценить сюжет невозможно, что ли?

Сразу видно отсутствие технических навыков: 5х5=25 баллов вам мало, так вы ещё десятые доли вводите!

У кого, у меня видно? А слова про среднее арифметическое вы пропустили? Сумма баллов по всем пяти критериям потом делится на пять, а к полученному числу еще может быть добавлено от 0.1 до 1 балла за оригинальные находки (на усмотрение рецензента). Естественно, там с десятыми долями итоговая оценка получается, сумма-то редко бывает кратна пяти.

У вас ещё пятый пункт остался?

Э-э?..

[Dimtrys]

Про то, что система не учитывает "отвечает ли заданной тематике рассказ" уже говорили.

Да, например, Светлана Рыжкова, которая считает, что есть только два равнозначных критерия оценки текста - литературное качество и соответствие теме. Оценка литературного качества - для этого нужна ИФЭЯ. Просто. Понятно. Субъективно? Да, но обоснованно.
Насчёт того, что критерии равнозначны, я не согласен. На мой взгляд, тема конкурса - это повод, позволяющий раскрыться автору. Но, наверное, будет справедливо, если отражение темы конкурса будет как-то учитываться. Думается, правильно было бы рассказы не соответствующие теме, вовсе не допускать на конкурс, но если право и ответственность решать перекладывают на меня... Я бы, пожалуй вычитал из оценки ИФЭЯ один балл за явное несоответствие.

Что касается ИИЧГ... Система выглядит непродуманной. А ИФЭЯ - продуманной, именно поэтому я и стал её применять.

[Лилэнд Гонт]

Думается, правильно было бы рассказы не соответствующие теме, вовсе не допускать на конкурс

Вот именно. Почему судьи или голосующие должны решать - соответствует теме или нет? Было же сказано, что рассказы не соответствующие - приниматься не будут.

Что касается ИИЧГ... Система выглядит непродуманной.

Конечно, я же её сходу придумал. Так просто, не напрягаясь.
Подумал - по каким критериям я оцениваю произведения. Что для меня важно.
Вот и оказалось что важно для меня:
Интерес
Идея
Читабельность
и Грамотность

Финал и Язык для меня роли никакой не играют

[м-Ария]

А я считаю, ИФЭЯ - дань моде. Сейчас модно стало оценивать творческие работы с точки зрения четырехмерного пространства. Большее число измерений в наш мозг не укладывается.
Выбрать 4(!) критерия отбора и оценивать, - похоже, что из-за границы чес идет. В прошлом году моя работа участвовала во Всероссийском ТВ-конкурсе- там ее тоже оценивали по 4-х бальной системе. Только аббревиатура была другой , сошлась только одна буква И - ИДЕЯ.
Ребенок старший в позапрошлом году участвовал в детском журналистском конкурсе . Та же самая система четырехмерной оценки и тоже одно схождение в букве И.
В общем, считаю, если бы не СИСТЕМА Псевдо Лобачевского, наши второе и третье места могли быть первыми! (шутка , конечно, спасибо и за то)
По мне - миры Лобачевского не имеют границ, также , как и критерии оценки творческих работ.

[Лилэнд Гонт]

наши второе и третье места могли быть первыми!

Да не волнуйтесь вы ))) Они и будут первыми - по общему количеству набранных баллов.

Выбрать 4(!) критерия отбора

Ну, можно и пятый добавить (факультативный)
5. Эмоции (0 и 1) вызвал - не вызвал

[м-Ария]

Да я и не переживаю, я в этом конкурсе исключительно, как судья. А вот с пятимерным пространством уже сложности возникают. Мой старшенький понес учителю математики свои формулы-раскладки пятимерного мира. Она в шоке, - сказала, что почитает литературу соответствующую, прежде "заценить" его работу. Не поняла , однако

[Лилэнд Гонт]

формулы-раскладки пятимерного мира

Может, он открытие какое сделал? ))

[Али Йен]

Думается, правильно было бы рассказы не соответствующие теме, вовсе не допускать на конкурс, но если право и ответственность решать перекладывают на меня... Я бы, пожалуй вычитал из оценки ИФЭЯ один балл за явное несоответствие.

Конечно, для участия в тематическом конкурсе рассказ обязан быть по теме. И тут начинаются проблемы.
Если конкурс имеет деловую цель, например в ХиЖ, отбор рассказов в журнал, то и подход - жёсткий и преноминация строгая.
Можно сколько угодно доказывать, что рассказ по теме, потому что автор, мол, подразумевал то-то и то-то. Но хозяин - барин, и руководством к его действиям могут служить как чёткие, так и неясные авторам критерии. Помните, "рукописи не рецензируются и причина отклонения не объясняется" (из гипотетических редакционных правил).
На дружеских конкурсах, где цель - игра, сложно требовать жёстких правил. Посиотрите, даже от дуэли к дуэли правила меняются.
Я - совершенно не против. Играем же.
Так вот, о соответствии теме. Как это определить без взаимодействия с автором рассказа? В большинстве случаев - можно, а в меньшинстве - нет. Яркий пример - Грелка. У меня до сих пор руки чешутся с авторами пообсуждать их рассказы и послушать суровую критику своего. Но времени на всё не хватает, я даже свой грелочный рассказ пока здесь не выставлял, чтобы не отвлекаться на новые дискуссии. Надеюсь мы с Khmep'ом, Андреем Chechako, zubr'ом и другими участниками ещё поспорим. (Вот и дуэль неожиданно выскочила).
Извиняюсь, за отклонения от темы соответствия.
В пункте 5 Правил (здесь) говорится, что организаторы могут снять рассказ с конкурса за несоответствие теме.
Однако получилось обратное с включением (внеконкурсного) рассказа.
Организаторы предлагают участникам оценивать соответствие темы.
Можно. Но не понимаю, как - без дискуссий с автором. Всё же придумать получится.
Но вычитать баллы из чётких параметров неверно. Должен быть отдельный критерий.
Это тематика не ИФЭИ, а оценивания будущих конкурсов.

[Fr0st Ph0en!x]

Можно. Но не понимаю, как - без дискуссий с автором. Всё же придумать получится.

Запросто. Если без комментария автора соответствие теме не очевидно - значит, его, в сущности, нетъ.

[Али Йен]

Это ссылка из темы "Действующий конкурс"

Я лично не считаю возможным втискивать себя в какие бы то ни было рамки. Каждый рассказ рождает свои чувства и ассоциации, и оценивать единой системой (какая бы она ни была) столь разные по сюжетам и качеству исполнения вещи не слишком разумно. Но... Кому-то легче в циферки все перевести, а другим надо потратить уйму времени, чтобы поверить алгеброй гармонию.
К слову сказать, а как оценить творчество Достоевского, Пушкина, Гоголя, какие баллы Вы им поставите, уважаемые ИФЭЯвцы?

Я хочу с вами побеседовать и ответить, но тема - ИФЭЯ, поэтому перейду в оффтоп и там выскажусь, хорошо?

Итак, продолжаю:
1. По-моему, разумность именно в том и состоит, чтобы сравнивать ОДНОЙ СИСТЕМОЙ. Обычно говорят, чтобы не сравнивать яблоки с апельсинами.

2. Рамки - договорные. Увы, договариваться трудно. Все только высказывают мнения, а необходима проверка в действии, то есть в конкурсе.

3. Читали ли вы статью про систему ИФЭЯ в СИ? http://samlib.ru/a/ali_j/scores.shtml
Система создана для приключенческих (фантастических, детективных, развлекательных) РАССКАЗОВ.
Не для философских, трагических, лирических РОМАНОВ.
А уж тем более не для оченки ТВОРЧЕСТВА как целого.

Разумеется, применить её можно и к роману, но одна его часть может быть детективной, другая философской, третья - ...
И как быть?
Если повесть небольшая... Возьмём "Капитанскую дочку"... Минимум восемь баллов 2-2-2-2 я бы поставил...

[Али Йен]

Запросто. Если без комментария автора соответствие теме не очевидно - значит, его, в сущности, нетъ.

Ага! Как решение тройки Особого совещания!

[Vesper]

Али Йен

По пункту 1: как быть тем, у кого на апельсины аллергия? Какая может быть одна система? Просто отбрасываешь ненужное, да и все. Зачем сравнивать? Если творение не соответствует, я просто вывожу его за рамки дальнейшего отбора, и конец.
По п.3: Нет.
П. 2: мы не судейская коллегия, чтобы так мучиться. И мне кажется, что словесных комментариев вполне достаточно, чтобы автор мог понять, что в его рассказе понравилось, а что нет. При условии, конечно, что его самого поняли.

И еще: фантастика не обязана быть сугубо развлекательной литературой. Я лично считаю ее и трагической, и философской, и много чего еще. Именно поэтому на полках магазинов сейчас так трудно найти действительно хорошие новинки. Низвели до уровня сериальной развлекухи.

По поводу"Капитанской дочки": А как насчет "Гаврилиады", например?

[Fr0st Ph0en!x]

Ага! Как решение тройки Особого совещания!

Нет. Потому что соответствие теме - это не какая-нибудь там тайнопись, которую нужно под микроскопом выискивать. Если оно есть - то оно есть, либо на уровне сюжета, либо на уровне аллегории. Собрались тут люди, я полагаю, неглупые, отлично представляют, что тему не обязательно нужно трактовать буквально. А рассказ - это самостоятельный текст, который должен восприниматься безо всяких авторских комментариев.
При этом считаю, что отказывать в приеме на конкурс следует лишь тем текстам, которые однозначно в формат конкурса не вписываются. Т.е., допустим, тема "Причуды эволюции", а рассказ написан про падение эльфийского королевства, и в нем один раз упоминается, мол, до чего ж эволюция докатилась. В остальных случаях выбор лежит уже на читателях. В том числе - и с точки зрения того, насколько полно тема раскрывается в том или ином рассказе.

Кстати, я ответил здесь по поводу объективных критериев и систем оценки.

[Али Йен]

Али Йен

По пункту 1: как быть тем, у кого на апельсины аллергия? Какая может быть одна система? Просто отбрасываешь ненужное, да и все. Зачем сравнивать? Если творение не соответствует, я просто вывожу его за рамки дальнейшего отбора, и конец.
По п.3: Нет.
П. 2: мы не судейская коллегия, чтобы так мучиться. И мне кажется, что словесных комментариев вполне достаточно, чтобы автор мог понять, что в его рассказе понравилось, а что нет. При условии, конечно, что его самого поняли.

И еще: фантастика не обязана быть сугубо развлекательной литературой. Я лично считаю ее и трагической, и философской, и много чего еще. Именно поэтому на полках магазинов сейчас так трудно найти действительно хорошие новинки. Низвели до уровня сериальной развлекухи.

По поводу"Капитанской дочки": А как насчет "Гаврилиады", например?

1. Потому что в большинстве конкурсов те, кто с аллергией, "госпитализируются с конкурса". В смысле, если отбрасывают без оценок.
А в стандартной 10-бальной системе можно "влепить" 0 (по терминологии игроков) и оставить коллегу без всякого объяснения, тмпа УГ сказать. Естественно авторов это раздражает и обижает. ИФЭЯ не просто ставит нули, а объясняет (без слов!) за что.
Если 0 за интерес выставили несколько судей из десятков, автор и не обратит внимания на малозначительные мнения. А если получит десятки нулей, то поймёт общественное мнение по этому вопросу.

2. Мучений не вижу. (И напрасно, наверно). Но ещё проще, чем построил - не могу. Информативности не останется. А статью почитайте . Может понравиться и помочь.
А мы, конечно же, - судейская коллегия для своих "однополчан".

По определению - фантастика принадлежит к приключенческой развлекательной литературе. А может нести всё, что вы говорили. Но не за это её любят миллионы людей. А полки магазинов я не обсуждаю.

Оценкой классиков заниматься не собираюсь. Я не профессиональный критик.

Али.

[Fr0st Ph0en!x]

Почему вы везде в противовес вашей системе приводите именно обычную десятибалльную? Ведь тут же никто не ратовал за ее использование. А вы ставите вопрос так, как будто есть только одна альтернатива.

[Али Йен]

Нет. Потому что соответствие теме - это не какая-нибудь там тайнопись, которую нужно под микроскопом выискивать. Если оно есть - то оно есть, либо на уровне сюжета, либо на уровне аллегории. Собрались тут люди, я полагаю, неглупые, отлично представляют, что тему не обязательно нужно трактовать буквально. А рассказ - это самостоятельный текст, который должен восприниматься безо всяких авторских комментариев.
При этом считаю, что отказывать в приеме на конкурс следует лишь тем текстам, которые однозначно в формат конкурса не вписываются. Т.е., допустим, тема "Причуды эволюции", а рассказ написан про падение эльфийского королевства, и в нем один раз упоминается, мол, до чего ж эволюция докатилась. В остальных случаях выбор лежит уже на читателях. В том числе - и с точки зрения того, насколько полно тема раскрывается в том или ином рассказе.

Тройка Особого совещания – это расстрельная команда. Она даже слово «микроскоп» не знала. Какой смысл спорить, обмениваясь всё новыми сущностями?
Я сказал, что не всегда тема видна при прочтении без беседы с автором. Иногда – это нечёткость авторского изложения, иногда – задумка, иногда – просмотр читателя. Уверяю вас, невозможно раскрытие темы судить как 1 – есть раскрытие или 0 – нет его.
Меня обычно устраивает, когда организаторы берут это на себя. Иначе я оцениваю рассказ по своим критериям, а не «наказываю» автора, за тот мнимый проступок, которого он не совершал.
И как же вы мне возражаете? В том, что «рассказ - это самостоятельный текст, который должен восприниматься безо всяких авторских комментариев»? Если отбросить неуместное долженствование, то я с утверждением согласен. Но… вы подменяете «тему» «рассказом». Рассказ – да, а тема может быть и не видна, не очевидна. Более того, в каждом рассказе, так или иначе, отражается множество тем.
Даже в вашем примере с эльфийским королевством я бы не стал огульно отбрасывать отсутствие эволюции. Может они эволюционировали своим волшебным образом, а я, учёный крючок, этого в рассказе не понял.

Почему вы везде в противовес вашей системе приводите именно обычную десятибалльную? Ведь тут же никто не ратовал за ее использование. А вы ставите вопрос так, как будто есть только одна альтернатива.

Вот это – хороший вопрос.
Во-первых, наоборот, ИФЭЯ была создана в противовес простой 10-бальной системе.
Во-вторых, зачем – отсылаю к статье? Зачем говорю об ИФЭЯ?
Хочу познакомить коллег, внести понимание в такой метод – он называется методом экспертных оценок. Мне кажется, что это приведёт к лучшему взаимопониманию и взаимодействию писателей.
Я не предлагаю заменить здешнюю топовую систему на систему ИФЭЯ.
Я лишь полагаю, что игрокам было бы интересно провести эксперимент и тестировать новую систему. Ведь авторы не только на этом ресурсе в конкурсах участвуют.

[Fr0st Ph0en!x]

Тройка Особого совещания – это расстрельная команда. Она даже слово «микроскоп» не знала. Какой смысл спорить, обмениваясь всё новыми сущностями?

Я в курсе. Но аналогия неуместна, ога.

Уверяю вас, невозможно раскрытие темы судить как 1 – есть раскрытие или 0 – нет его.

Конечно, невозможно. Тема может быть раскрыта сильнее или слабее, полностью или не полностью, хорошо или плохо. В общем, полно нюансов. Либо может быть не раскрыта почти никак (и неважно, хотел ли ее раскрыть автор). Именно поэтому на родимом форуме Фростъ Феникса в этой номинации ставится от одного до пяти баллов, а не 1 или 0.
Если соответствие теме не очевидно - я в своем праве поставить за него минимальный балл. Безо всякого обращения к автору, поскольку предполагается, что он в своем рассказе уже сказал все, что хотел сказать. Автор может потом сколько угодно обижаться и сетовать на тупость меня как читателя - это его право.
Но конкурс есть конкурс.=) Конечно, участвуют, в основном, непрофессиональные авторы, поэтому я всегда готов обсудить с автором мои замечания к его рассказу (допускаю, что некоторые из них могут быть не совсем справедливы), мою оценку, мои трактовки и его замысел. После конкурса.

Меня обычно устраивает, когда организаторы берут это на себя. Иначе я оцениваю рассказ по своим критериям, а не «наказываю» автора, за тот мнимый проступок, которого он не совершал.

А я своими оценками вообще никого и не думал наказывать никогда. Совершенно неуместное слово.

Даже в вашем примере с эльфийским королевством я бы не стал огульно отбрасывать отсутствие эволюции. Может они эволюционировали своим волшебным образом, а я, учёный крючок, этого в рассказе не понял.

Да, я согласен, что притянуть за уши (и прочие места) можно любую тему к любому рассказу.

Хочу познакомить коллег, внести понимание в такой метод – он называется методом экспертных оценок. Мне кажется, что это приведёт к лучшему взаимопониманию и взаимодействию писателей.

И Фростъ Фениксъ в третий раз повторит, что экспертной оценки без объективного компонента быть не может.

Я лишь полагаю, что игрокам было бы интересно провести эксперимент и тестировать новую систему. Ведь авторы не только на этом ресурсе в конкурсах участвуют.

Ну, кто хотел - тот использовал.

[Али Йен]

Переношу из Рабочей темы конкурса Сообщение № 647

Система ИФЭЯ мне не по душе.
Я использую свою, проверенную.
Рассказ должен затрагивать мой разум, сердце и душу.

Очень интересное и, как я его понял, противоречивое высказывание.
По крайней мере, мне кажется, что И (интерес) и Э (эмоции) в ИФЭЯ соответствуют затрагиванию разума и души в вашей системе оценок.
Я не вполне понял, чем затрагивание души отличается от затрагивания сердца. Если имелось в виду, что «сердце должно ёкнуть», то могу это сопоставить с острой кульминацией, т. е. ярким финалом рассказа.
В таком случае 75% подхода к оцениванию у нас одинаково.
Вы не обмолвились о роли языке в рассказе. Если для вас он совершенно не важен, что сомнительно, то в таком случае есть различие. Иначе – никакого!
Я ещё не читал практически ничьих отзывов, поэтому хочу спросить: вы в каждом своём отзыве объясняете, где вы нашли в рассказе разум, сердце и душу или нет? Если нет, то при всей эквивалентности систем, вы не проводите стандартный принцип.
В конце концов, система создаётся не для себя, а для авторов, чтобы они могли без развёрнутого отзыва судьи, только из оценки, получить отзыв о важнейших компонентах, которые у нас, а скорее, у всех – одни и те же.

[grold]

Переношу из Рабочей темы конкурса Сообщение № 647


Очень интересное и, как я его понял, противоречивое высказывание.
По крайней мере, мне кажется, что И (интерес) и Э (эмоции) в ИФЭЯ соответствуют затрагиванию разума и души в вашей системе оценок.
Я не вполне понял, чем затрагивание души отличается от затрагивания сердца. Если имелось в виду, что «сердце должно ёкнуть», то могу это сопоставить с острой кульминацией, т. е. ярким финалом рассказа.
В таком случае 75% подхода к оцениванию у нас одинаково.
Вы не обмолвились о роли языке в рассказе. Если для вас он совершенно не важен, что сомнительно, то в таком случае есть различие. Иначе – никакого!
Я ещё не читал практически ничьих отзывов, поэтому хочу спросить: вы в каждом своём отзыве объясняете, где вы нашли в рассказе разум, сердце и душу или нет? Если нет, то при всей эквивалентности систем, вы не проводите стандартный принцип.
В конце концов, система создаётся не для себя, а для авторов, чтобы они могли без развёрнутого отзыва судьи, только из оценки, получить отзыв о важнейших компонентах, которые у нас, а скорее, у всех – одни и те же.

Считаю шаблон ИФЭЯ узким и скучым.
Сердце, разум и чувства - это относительного МОЕГО отношения к рассказу.
Разум - когда я удивленно хмыкаю, читая матчасть или шикарное фантдопущение.
Сердце - сопереживание
Душа - это когда после рассказа становится тепло и приятно, когда наступает удовлетворение, когда тронуло (торкнуло, долбануло...).
Вообще сложно объяснить насчет души. Это личное, но ощутимое.
Я приведу, может не очень по фанттеме простой пример. Прочитав Д.Френсиса "Фаворит", я удовлетворил и душу и сердце и разум.