Что такое дистракторы в тестах
Дистракторы
Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению.
В качестве примера Д. можно привести задания следующего типа:
— Телевизор так относится к микроскопу, как телефон к…
В этом задании необходимо выбрать правильный вариант окончания суждения из следующих: а) усилителю; б) микропроцессору; в) осциллографу; г) микрофону; д) громкоговорителю. Для правильного решения испытуемый должен понять, что содержанием аналогии является применение устройства для усиления сигнала. Следовательно, правильным решением будет «а». Как видно, Д. подобраны с подвохом, все они связаны с техническим оборудованием, и испытуемый, обнаруживший неверную связь, выберет, вероятно, микрофон. Если в приведенном задании использовалось бы другое «меню» ответов (например, а) усилителю, б) отвертке, в) паяльнику, г) микросхеме, д) диоду), то такие ответы не являлись бы Д. в строгом понимании, т. к. они подсказывают испытуемому верное решение.
Подбор адекватных Д. является неотъемлемой частью процедуры разработки надежного и валидного теста, составленного на материале заданий с выбором. Д., как правило, выявляются эмпирически. Так, может быть проведено исследование в специально подобранной выборке испытуемых. При этом используются задания, званные на формулировках будущего га, однако предъявляемые в виде заданий открытого типа. Полученные таким образом варианты неправильных решений могут быть использованы в качестве Д.
После подбора Д. необходимо провести дополнительную проверку адекватности разработанного «меню». При этом обращается внимание на действенность Д. При использовании Д., слишком близких к правильным ответам, надежность и валидность теста может быть существенно снижена. Д. становится практически неотличимым от правильного решения. Например:
Расстояние от Киева до Житомира составляет: а) 140 км, б) 137 км, в) 135 км, г) 830 км, д) 1020 км.
Использование неадекватных Д. искусственно ухудшает результаты тестирования, т. к. испытуемые будут введены в заблуждение. При этом в наибольшей степени пострадает наиболее «сильная» по исследуемым показателям часть испытуемых.
Анализ адекватности Д. должен быть дополнен исследованием дискриминативности заданий теста и трудности заданий теста.
Дистракторы в заданиях ЕГЭ по английскому языку. Аудирование.
Дистракторы в заданиях ЕГЭ по английскому языку. Аудирование.
Каждый учитель, который готовит учащихся к ЕГЭ, должен владеть экзаменационной терминологией, например: спецификация, кодификатор, демоверсия, дистрактор. И только один из этих терминов должен быть хорошо известен выпускникам.
Дистракторы встречаются в разделах ЕГЭ по английскому языку Аудирование и Чтение.
ЕГЭ по английскому языку проверяет способность выпускника понимать английскую речь как устную, так и письменную. В реальной жизни часто бывает, что слова имеют подтекст, двойной смысл, употребляются стилистически неоправданно. Это жизнь. От участников ЕГЭ требуется не «попасться на удочку», то есть понять реальный смысл высказывания, проверяются способности не только знать конкретные слова и выражения, но и умения перефразировать, подбирать и узнавать синонимы с разной стилистической окраской. Нужно обращать внимание на смысл высказывания, который передается синонимичными выражениями и часто в другой стилистике.
Поэтому самыми удобными для такого контроля разделами и являются Аудирование и Чтение.
Например, в заданиях по Аудированию стоит вопрос в нейтральном стиле, а на записи звучит диалогическая речь, что является неформальным стилем. Соответственно, прямого совпадения нет. Но где-то в записи упоминается слово и выражение, как в тексте задания. Это дистрактор. Значит, выбирать в качестве правильного ответа точно нужно не его, а подумать над общим смыслом высказывания.
И сегодня мне бы хотелось представить задание из раздела Аудирование, где обучающимся необходимо прослушать, а затем и прочитать текст с целью отметить все части информации, где упоминались предложенные варианты ответа. Далее необходимо выбрать единственный правильный ответ.
И здесь необходимо помнить об анализе правильных соответствий.
С вариантом подробного разбора задания по чтению вы можете ознакомиться в моей презентации.
Запутать нельзя угадать: как нейросети генерируют ложные приманки для тестов
Составлять тесты сложно: кроме правильного ответа надо придумать хотя бы три неправильных. Причем придумать их с умом: чтобы варианты не были слишком очевидно неверными — но и не оказались бы при этом подходящей альтернативой верному варианту. Хорошая новость в том, что скоро эту головоломную работу смогут выполнить за вас нейросети
Вы наверняка сталкивались с тестовыми вопросами. Самый частый формат — четыре варианта ответа, из которых правильный — только один. При этом если неправильные варианты слишком неадекватны, вопрос не имеет смысла — ответ уже лежит на поверхности. В то же время если больше одного варианта может по некоторой логике быть правильным, тест становится несправедливым.
В англоязычной специальной литературе для неправильных вариантов ответа в тестах существует специальное название — дистракторы (distractors, букв. «отвлекатели»). Хороший подбор дистракторов является одной из наиболее важных задач при дизайне тестов.
На Западе, где стандартизированные тесты играют особенно большую роль в вертикальной социальной мобильности, профессия создателя тестовых материалов является одной из самых востребованных и высокооплачиваемых в сфере образования. Неудивительно, что последнее время появляются попытки её автоматизировать. Один из способов сделать это — автоматизировать генерацию дистракторов.
Как ищут ложные варианты-приманки
Один из определяющих факторов в задаче генерации дистракторов —их наличие или отсутствие в обучающей выборке. Проще говоря, есть ли у нас готовые хорошие примеры дистракторов, сделанные людьми. От этого зависит, будем ли мы решать задачу обучения с учителем (supervised learning) или обучения без учителя (unsupervised learning).
В случае обучения с учителем мы будем учиться ранжированию — то есть используемый алгоритм должен присваивать наиболее высокие ранги словам или предложениям, действительно являющимся дистракторами для данного вопроса (помеченным как дистракторы в тестовой выборке).
Получив на вход текст вопроса и текст «кандидата в дистракторы», классификатор должен «решить», насколько хорошо данный ответ может сойти за правильный в контексте данного вопроса, выдав определенную вероятность в виде числа. Подтверждением успешного обучения является получение настоящими дистракторами большего, чем у остальных кандидатов, рейтинга.
Задача порождения дистракторов сводится к а) подбору списка слов-кандидатов и б) обучению ранжированию. Вопросы нужного формата обычно собираются из оцифрованных копий учебников или интернет-ресурсов.
Найти дистракторы без учителя
В случаях, когда готовый пул вопросов нужного формата отсутствует, наступает время применения unsupervised-подхода. Такая ситуация возникает, когда сами вопросы генерируются из определенного корпуса текстов. Разумеется, в таком случае к ним нет готового обучающего набора отвлекающих неправильных ответов.
Пример такого варианта — gap-filling questions, то есть вопросы, получаемые заменой какого-либо слова или словосочетания в корпусном предложении на пропуск. Задача проходящего тест — догадаться, какая единица должна быть на месте пропуска.
Для языкового тестирования вопросы с пропуском на выбор правильного ответа можно получить, используя специальный корпус ошибок — так называют корпуса, содержащие тексты, написанные не-носителями определенного языка, которые содержат области, размеченные как ошибки, а также их исправления.
Как делают варианты с дистракторами на корпусе ошибок
В работе, о которой пойдет речь далее, используется корпус REALEC. Он содержит тексты на английском языке, написанные русскоязычными студентами в качестве письменных заданий-эссе.
В системе LangExBank (см. репозиторий) каждый тестовый вопрос — предложение корпуса REALEC, в котором область ошибки заменена на пропуск. Таким образом, правильный ответ и один неправильный ответ в исходных данных уже есть — это исправление и оригинальная область ошибки. Теперь задача состоит в том, чтобы получить ещё 2-3 неправильных варианта.
В LangExBank реализована генерация дистракторов из вопросов, полученных на основе лексических ошибок и ошибок на употребление предлогов. Для подбора дистракторов используется классификатор в виде рекуррентной нейронной сети. Нейросеть должна заполнить пропуск, но в обучение модели внесена такая принципиальная поправка: если модель предсказывала правильный вариант (т.е. слово-исправление), штраф для неё увеличивался в 2 раза.
Нейросеть, построенная по схеме выше, обучается угадывать слово в оригинальной области ошибки на основе правого и левого контекстов ошибки, а также ее исправления. При этом правый контекст проходит через рекуррентный слой в прямом направлении, а левый — в обратном.
Полученные на выходе рекуррентного слоя векторы «склеиваются» друг с другом и вектором слова в исправлении. В качестве дистракторов используются топ-3 предсказаний модели, не равных слову в области ошибки и слову-исправлению.
Так как в датасете изначально не содержатся дистракторы, качество сгенерированных вариантов можно проверить только вручную. Наиболее адекватный результат показывает модель для предлогов, но все же результаты пока далеки от совершенства — почти в каждый набор попадает как минимум один «слишком неправильный» или «слишком правильный» на наш человеческий взгляд вариант.
Примеры работы нейросети
Но есть и хорошие примеры:
Что дальше?
Используемый в системе LangExBank сейчас подход не идеален, однако позволяет добиться некоторых результатов в нетривиальной задаче. Возможное улучшение — использование для генерации дистракторов не рекуррентного классификатора, а генеративной рекомендательной сети, как в работе (Liang et al. 2017). Однако, здесь возникает другая проблема — варианты, которые смогут «обмануть» дискриминатор, могут оказаться «слишком правильными».
В целом, основной проблемой для генерации дистракторов в сфере языкового тестирования является именно принципиальное отсутствие для каждого контекста единственно возможного варианта заполнения — языки устроены так, что в них почти не существует валентностей, которые могут заполняться одной и только одной единицей.
Несмотря на описанные проблемы, используемый в LangExBank механизм генерации лексических дистракторов должен помочь преподавателем в формировании тестовых материалов — его выдачу сейчас стоит скорее стоит воспринимать как рекомендацию. Поэтому платформа поддерживает редактирование полученных из корпуса тестов. В будущем планируется добавление моделей порождения дистракторов и для других типов ошибок.
Как находить дистракторы в тексте?
Готовите учеников к экзамену? В любом виде теста или контроля проверяется не только уровень знаний языка, но в большей мере и другие навыки: логическое мышление, стрессоустойчивость, умение быстро и эффективно справляться с большим объёмом информации на иностранном языке, умение находить «подводные камни» и иногда использовать интуицию.
Один из «секретов» экзаменов и тестов является тип заданий, использующий «дистракторы» (distractors). Сам термин говорит о том, что это должно быть то, что отвлекает. Отвлекает внимание экзаменуемого от чего? – От правильного ответа. Дистракторы — слова, выражения, предложения, которые выглядят как правильные ответы, но на самом деле только сбивают с толку. Чаще всего это происходит в заданиях «multiple choice», где один ответ правильный, остальные два или три заведомо неправильные, но могут показаться корректными, так как:
— в них используется такое же или похожее слово, как и в тексте/аудиодокументе;
— содержат такую же информацию, как и в тексте (только из другого контекста);
— используют синонимы или антонимы к ключевым или искомым словам.
Авторы таковых заданий используют технику перекрещивания ключевых слов в вариантах ответа со словами из частей текста (как такие задания формируются читайте в данной статье ). Именно поэтому экзаменуемые часто попадаются на крючок дистракторов, спеша и не вчитываясь в ответы, не анализируя информацию в тексте.
Из личного опыта предлагаем 10 советов, как помочь студентам распознать дистрактры и получить правильные ответы:
Как работают выше упомянутые принципы на примере аудирования, смотрите в видео.
Что такое дистракторы в тестах
Определимся с понятием ДИСТРАКТОР:
ДИСТРАКТОР (ОТВЛЕКАЮЩИЙ РАЗДРАЖИТЕЛЬ)
1. Любое событие или стимул, которые отвлекают внимание. В исследованиях человеческой па
мяти дистракторы часто применяются при изучении кратковременной памяти. Типичная методика использования дистрактора состоит в том, что субъекту предъявляется стимул, который предстоит запомнить, а затем вводится другая задача, которая требует внимания субъекта и не позволяет повторять и/ или кодировать стимул. 2. Пункт-«наполнитель» в тесте; пункт, который не соотносится с тем, что фактически измеряется этим тестом. Такой дистрактор не позволяет тестируемому субъекту строить предположения о предмете и цели тестирования.
Дистракторы встречаются в разделах ЕГЭ по английскому языку Аудирование и Чтение.
ЕГЭ по английскому языку проверяет способность абитуриента понимать английскую речь как устную, так и письменную. В реальной жизни часто бывает, что слова имеют подтекст, двойной смысл, употребляются стилистически неоправданно. Это жизнь. От участников ЕГЭ требуется не «попасться на удочку», то есть понять реальный смысл высказывания, проверяются способности не только знать конкретные слова и выражения, но и умения перефразировать, подбирать и узнавать синонимы с разной стилистической окраской.
Поэтому самыми удобными для такого контроля разделами и являются Аудирование и Письмо. Авторы учебных пособий по ЕГЭ, в частности Солокова И.Е., утверждают, что если текст задания и текст вопроса к заданию совпадают, то это в 99,9% случаях дистрактор. Нужно обращать внимание на смысл высказывания, который передается синонимичными выражениями и часто в другой стилистике.
Например, в заданиях по Аудированию стоит вопрос в нейтральном стиле, а на записи звучит диалогическая речь, что является неформальным стилем. Соответственно, прямого совпадения нет. Но где-то в записи упоминается слово и выражение, как в тексте задания. Это дистрактор. Значит, выбирать в качестве правильного ответа точно нужно не его, а подумать над общим смыслом высказывания.