Почему студентам-медикам нужен экзамен IFOM

Чому студентам-медикам потрібен іспит IFOM

До сих пор в Украине отсутствовали инструменты объективного измерения знаний будущих врачей

В 2019 году студенты украинских медицинских вузов впервые будут сдавать экзамен по Международным основ медицины (IFOM – International Foundations of Medicine). Этот тест разрабатывает Национальный совет медицинских экзаменаторов США (NBME – National Board of Medical Examiners), его использует много стран, часто вместо национального. Министерство здравоохранения Украины включило IFOM Единого государственного квалификационного экзамена (ЄДКІ), и 1-3 июля тест проходят третьекурсники.

IFOM – не американский, а международный тест

На волне нововведений в сфере медицинского образования МЗ звучало много претензий от студентов и преподавателей: мол, зачем украинским студентам американские экзамены? Вероятно, под американским экзаменом подразумевается тест USMLE (United States Medical Licensing Examination), который составляют студенты-медики в США. Разработкой и USMLE, и IFOM руководит Национальный совет медицинских экзаменаторов, однако это разные экзамены. USMLE – исключительно американский продукт для американских студентов, он не продается за границу. Зато IFOM лишен национальных особенностей и разрабатывается для международных нужд.

«Эксперты, преподаватели из различных университетов разных стран составляют тестовые вопросы, которые попадают к банку вопросов национального совета медицинских экзаменаторов. Они переводятся на национальные языки. Этот экзамен может быть проведен в разных странах, в разных университетах. Тот же экзамен с подобными вопросами. Этим инструментом можно оценить и сравнить уровень подготовки студентов разных университетов, стран», – пояснил на пресс-конференции в Киеве заместитель министра здравоохранения Александр Линчевский.

Базовые медицинские дисциплины являются едиными для всех стран, ведь не существует национальных особенностей анатомии. «Мы говорим, что врач должен учить медицину, а не тест, должен знать дисциплину, материал. Соответственно, оптимальный для нас способ измерения уровня его подготовки – тестировать его понимание предмета», – говорит он.

Чиновник добавляет, что существуют определенные заболевания, которые чаще встречаются в Индии и отсутствуют в Канаде, график вакцинации может отличаться в США и Венгрии. Однако такие специфические вещи исключаются на этапе формирования тестовых вопросов. «Прежде чем внедрить тестирования, мы провели международное мониторинговое исследование, чтобы выявить возможные расхождения в учебных программах. Чтобы не тестировать тех вещей, в которых наши студенты еще не учили. Исследование дало нам возможность выявить те блоки вопросов, которые не следует оценивать в будущем. Наши студенты будут это учить, но не на первых трех курсах, а позже», – говорит Линчевский.

Пробный экзамен: результат украинских студентов – 27%

19 марта среди медицинских студентов 4 курса провели мониторинговый IFOM. В исследовании приняло участие более 6 тысяч студентов, его результат не влиял на оценку, а участие было добровольное. По словам Линчевского, экзамен проводился по правилам национального совета медицинских экзаменаторов, с мерами безопасности, видеофиксацией, таймингом.

«Как проводится экзамен: буклеты с распечатанными вопросами, вариантами ответов переводятся в США (на украинском языке – Ред.), доставляются сюда с определенными мерами безопасности, развозятся по университетам, а после составления возвращаются к NBME. Таким образом на уровне студентов, преподавателей, администрации университетов, министерства, центра тестирования вмешательства в результат невозможно технически. Результат подсчитывает NBME», – рассказал заместитель министра.

Средний результат украинских студентов – 27% правильных ответов. Зато международная группа, в которую входило 3,5 тыс. человек из разных стран, в среднем ответила на 54% вопросов.

Чому студентам-медикам потрібен іспит IFOM

Голубым – результаты украинской группы, синим – международной. Горизонтальная линия внутри блока – средний результат.

Однако, как отмечает президент МОО «Универсальная экзаменационная сеть» Сергей Мудрук, нельзя категорически заявлять, что в Украине знания в два раза хуже, чем за рубежом.

По его словам, международная группа сдавала этот экзамен как тестирование высоких ставок, то есть от результатов зависело, получит ли человек доступ к профессии или нет. Студент для этого полностью мобилизуется, на несколько месяцев погружается в подготовку, выполняет много рекомендаций, в том числе относительно питания перед тестом.

Зато украинские студенты ничем не рисковали, их судьба не зависела от результата. «В этом смысле для меня как тестолога это уникальный материал, потому что он в чистом виде показывает истинный уровень остаточных знаний. Это те знания, которые человек способен показать в немотивованому, нестресовому состоянии. Это спокойный режим приема врача в поликлинике», – говорит Мудрук.

Если бы к украинских студентов применили стресс и от результата зависела хотя бы судьба курса, они показали бы такой же результат, как и международная группа, убежден эксперт.

«Как тестолог могу сказать: если мы видим такой эксперимент в чистом виде и люди демонстрируют результат Х, то в случае применения стресса в аудитории будет 1,5 Х… Уровень стрессовости для людей, которые составляют эквивалент IFOM в США, больше, потому что там это реально доступ к профессии, которая обеспечивает доход, намного выше среднего. Средние результаты американцев выше 70%», – говорит он.

Что не так с «Шагами»

С конца 1990-х годов в Украине действует система оценивания студентов-медиков «Шаг» по аналогии с USMLE. Тесты для «Шагов» пишут украинские преподаватели, и со временем оказалось, что эти тесты не могут объективно оценить знания.

В 2018 году МИНЗДРАВ попросило у Центра тестирования полную информацию о результатах «Шагов». На основе этих результатов вышла статья на VoxUkraine (https://voxukraine.org/longreads/kroks/index.html) за авторством Инны Совсун (бывшая заместительница министра образования и советник министра здравоохранения) и Татьяны Тищук (редактор VoxUkraine). Автора составили графики с результатами тестов за каждый год, которые показывают, что произошло вмешательство в нормальное распределение баллов. В статистике графическое изображение такого нормального распределения имеет форму колокола. То есть, небольшое количество студентов получает наименьшее количество баллов, с ростом балла количество студентов тоже растет до определенной точки, а затем так же плавно падает, и самые высокие баллы получает также мало людей.

Зато на графиках с результатами «Шага-1» за 2015 год наблюдается скачок четко на пороге «сдал/не сдал». При чем, когда порог подняли с 50,5% до 60,5%, прыжок тоже подвинулся.

Чому студентам-медикам потрібен іспит IFOM

Серый – количество человек, которые набрали меньше проходного балла; сиреневый и зеленый – больше проходного балла; вертикальная линия – прыжок на уровне проходного балла.

«Условно говоря, почему-то около ста человек набирает 61% правильных ответов, но 350 человек набирает 60%, что четко совпадает с проходным баллом. Такой график не может сформироваться естественным образом, это статистически невозможно. Я не буду делать голословных заявлений, о том, что это коррупция, это должны доказывать правоохранительные органы. Но мы точно наблюдаем определенные вмешательства в систему, которые создают вот такой неестественной график», – говорит Совсун.

По ее словам, частично эту аномалию могут объяснить студенты, не сдавшие «Шаги» с первого раза и идут на пересдачу. «При пересдаче они используют тесты, которые уже использовались. А если ты набираешь больше проходного балла, тебе зачисляют на уровне проходного. Это может объяснить часть этого скачка. Возникает вопрос: зачем нам тест, который могут пересдать все?», – говорит она.

Получается, что «Шаг» не выполняет свою основную функцию и не отсеивает самых слабых студентов.

Если сравнить графики результатов, то заметно, что «Шаги» – правозміщені (большинство составляет хорошо), а IFOM – лівозміщений (большинство составляет плохо).

Чому студентам-медикам потрібен іспит IFOM

Лівозміщений график сдачи теста IFOM украинскими студентами

По словам Мудрука, системы тестирования иногда вырождаются, так произошло и с «Шагами», поскольку в сети можно найти массу аналогичных вопросов. Затем студенты запоминают правильные ответы и благодаря этому хорошо сдают тесты.

Почему IFOM нужен самим студентам

Если «Шаги», судя по их результатам, проверяют уровень заученных знаний, то IFOM – уровень применения этих знаний, профессиональный интеллект, считает Мудрук.

«Люди увидели вопрос в неожиданном формулировке. Думаю, что с внедрением IFOM он будет с лівозміщеного дрейфовать в сторону нормального центрального распределения. Думаю, что он из года в год будет измерять не то, что измеряют «Шаги». Они измеряют по сути одни и те же предметы по названиям, но на различном когнитивном уровне», – говорит специалист.

По его словам, хорошие тесты невозможно угадать, у них всегда есть неправильные варианты ответа, так называемые дистрактори, привлекательные для слабых лиц, которые отвечают наугад. А результат IFOM свидетельствует о том, что студенты не угадывали, а читали тест и сознательно отвечали неправильно, основываясь на пробелах в знаниях.

«По результатам IFOM мы увидели: несмотря на то, что много студентов, экспертов, ректоров, народных депутатов жаловались, что IFOM непригоден для оценки высшего образования в Украине – тест работает, чтобы выявлять разные уровни подготовки студентов. То, что результаты разные и существенно выше порог угадывания, свидетельствует о том, что тест работает. Результат 27% – это низкий балл, он будет выше при составлении мотивированного теста, но при этом он ниже, чем нам хотелось бы, нам есть куда расти», – отметила Совсун.

Она отмечает, что тест сам по себе не решит проблем медицинского образования в Украине, однако он задает стандарт, к которому должны подтягиваться заведения высшего медицинского образования. «В марте 2018 года университеты уже знали, что будет меняться программа тестирования. Они имели время, чтобы адаптировать программы, выбросить из них гомеопатию и добавить предметы, которые им нужны, чтобы подготовиться к экзамену. Сегодня мы рассчитываем, что IFOM сможет мотивировать университеты изменить программы подготовки, готовить их к правдивому медицинского тестирования, а не к составлению Шагов, качество которых является откровенно низкой», – говорит эксперт.

Совсун ожидает, что международный тест будет стимулировать студентов к учебе, ведь его невозможно купить, пересдать за открытыми буклетами или сманипулировать результатами.

Тем временем МИНЗДРАВ напоминает, что порог «сдал/не сдал» для теста 1-3 июля будет формироваться после анализа ответов студентов, по аналогии с внешним независимым тестированием. То есть, если в тестах будут вопросы с минимальным количеством правильных ответов, то они не будут влиять на результат. Пересдать IFOM можно будет только один раз, в августе за свой счет студента.

Министерство планирует, что некоторое время у ЄДКІ существовать как «Шаг», так и IFOM, чтобы украинский экзамен подтягивался до уровня международного. Когда графики результатов начнут примерно совпадать, Украина сможет отказаться от IFOM, использовать его изредка как мониторинговый, а знания медиков оценивать новым национальным качественным «Шагом».

Share