Вы наверняка знаете шутку про то, что самая распространенная оценка в ВУЗе — это “хрен с тобой, зачет”. Студенты явно не тянут, но постоянно ходят на пересдачи и нудят “ну постаааавьте”. В конце концов преподавателю надоедает и получается “хрен с тобой, зачет”. Важный нюанс состоит в том, что такая оценка возможна только на устных экзаменах, где есть живой экзаменатор, который просто сжалится и поставит, либо которому дадут взятку и он поставит. А вот при сдаче тестов с автоматическим подсчетом баллов никакого “хрен с тобой, зачет” не бывает — компьютер никого не жалеет и купюр в зачетках не берет — будет или “зачет” или “не зачет”.

Вы также, наверное, знаете, что все студенты-медики за время своего обучения три раза сдают национальные тесты КРОК (соответственно КРОК 1, КРОК 2 и КРОК 3). Поскольку это тесты, то они должны более-менее объективно и независимо от левой пятки экзаменатора, показывать уровень знаний.

А теперь я вам интересную вещь скажу: оказалось, что для всех тестов КРОК ярко проявляет феномен “хрен с тобой зачета”! Более того, статистический анализ этого феномена, опубликованный в исследовании VoxUkraine и Киевской Школы Экономики, совершенно недвусмысленно показывает наличие массовой коррупции в медицинских вузах и массовую подтасовку результатов итоговых квалификационных тестов! Прикольно, правда? Давайте разберемся чуть подробнее.

Когда множество студентов сдает один и тот же тест можно построить статистическое распределение количества правильных ответов. Оно будет заключено в диапазоне от нуля до 100% и оно будет иметь вид немного кособокой кривой с максимумом, который соответствует наиболее часто получаемой оценке. Если в среднем все студенты решают правильно 60% заданий, то распределение оценок будет иметь максимум на 60% и плавно спадать в обе стороны. Слово «плавно» тут ключевое — если процесс тестирования честный и непредвзятый, все студенты в равных условиях, а результаты никак не подтасовывают, то нет никаких причин чтобы в каком-то месте кривой вдруг возникал выброс или провал. Кому интересно почему — читайте абзац ниже, а если не хотите нудною математику то пропускайте и поверьте умным людям, что так и есть.

В теории вероятностей есть фундаментальный принцип — центральная предельная теорема. По-простому она формулируется так: если взять множество независимых друг от друга случайных событий то их сумма будет распределена согласно нормальному распределению. Статистическое распределение для каждого события в отдельности может быть сколь угодно косым и кривым, но просуммировав большое количество таких событий мы все равно получим гладкую колоколообразную кривую. Теперь подойдем чуть ближе к студенческим тестам. В самом простом случае набор баллов студентами моделируется биномиальным распределением — это распределение количества правильных ответов на серию вопросов типа “да/нет” если вероятность правильного ответа на любой из вопросов одинакова и равна некой величине p, а вероятность ошибиться, соответственно, равна 1-p. Такую серию называют еще процессом Бернулли. Так вот, центральная предельная теорема гласит, что при большом числе вопросов дискретное биномиальное распределение переходит в гладкое нормальное распределение (математики, не убивайте — я сильно огрубляю и упрощаю). Обращаю внимание: в гладкое распределение без всяких выбросов! В реальных тестах модель будет более сложной чем процесс Бернулли. В частности, вероятности правильных ответов на разные вопросы будут разными т.к. их сложность не одинакова. В итоге распределение будет не идеальным симметричным колоколом, а немного кособоким, но в пределе большого числа вопросов оно все равно будет гладким.

Так вот, типичная кривая результатов КРОКа выглядит вот так.

Разным цветом тут закрашены части ниже и выше проходного балла. Обратите внимание, что при подходе снизу к проходному баллу на кривой возникает внезапный провал, а сразу после него возникает здоровенный аномальный пик. Это при том, что чуть дальше от заветной границы зачета никаких подобных выбрыков на кривой нет. Подобная картинка наблюдается на результатах всех КРОКов за все годы, которые исследовались! Каждый год проходная граница была немного разной, но предательский пик всегда возникал в точности над ней, а не где-то в другом месте.

Подобная аномалия на границе проходного балла — это и есть тот самый феномен “хрен с тобой зачета”. Он вполне ожидаем для очных устных экзаменов, но тут у нас тесты! Единственное объяснение этому феномену очень не понравиться ректорам медицинских ВУЗов: результаты тестов КРОК де-факто подтасованы. Студентам, которые не дотягивают до проходного балла, искусственным образом натягивают оценку до “хрен с тобой, зачет”. Происходит это за счет пересдач проваленных тестов: “коли під час перескладання іспиту студент отримує бал, що є вищим за мінімальний поріг, то результат зараховується на рівні мінімального прохідного балу” — такая норма записана в положении о лицензионных тестах. Там же записана другая прикольная норма: «Центр тестування має право проводити перескладання ліцензійних іспитів… використовувати різні варіанти тестів, у тому числі сформовані з буклетів попередніх років». Т.е. пересдача происходит по заданиям, ответы на которые уже известны!

Дальше — больше. Если бы все объяснялось только пересдачами, то провал в подпороговых значениях должен быть равен по величине напороговому пику (общее число сдающих — константа). Но в разные годы он то больше, то равен, то меньше без какой-либо системы. Т.е. дело не только в пересдачах, но еще и в каких-то скрытых нюансах подсчета баллов компьютерными программами теста оценивания. Очень симтоматично, что центр оценивания не предоставил никаких данных по методике расчета распределений — явно есть что-то, что не хотят показывать.

Очень большая величина “хренстобойзачетного” пика в некоторые годы говорит о том, что таких пересдающих бывает очень много. Все эти люди сначала провалили квалификационный экзамен, а потом были допущены до его пересдачи на тестах с уже известными ответами. Они не имеют необходимых знаний, чтобы стать врачами, но их героически тянут за уши и таки дают им дипломы. Вы хотели бы попасть к такому врачу? Я как-то не очень.

Такое натягивание совы на глобус — следствие шкурной финансовой заинтересованности университетов в студентах-контрактниках, даже самых тупых и необучаемых. Контрактника нельзя отчислить т.к. это эквивалентно отказу от живых денег. Поэтому его будут мурыжить с пересдачами, будут выдавать ему протухшие тесты с заранее известными ответами, даже будут писать тесты за него за дополнительную мзду пока он не получит свой “хрен с тобой зачет”. Особенно это относится к зарубежным студентам — никто и никогда не отчислит иностранца, приносящего в кассу валюту. Престиж ВУЗа и профессиональная этика — ничто, бабло — все.

Констатацией факта, как вы понимаете, дело не закончится. У МОЗа наполеоновские планы по реформированию этого уютного гадюшника. В частности уже с этого года все студенты будут сдавать международный экзамен по основам медицины IFOM, где никаких пересдач с известными ответами нет. Сами КРОКи тоже планируется переделать — сделать задания более сложными и качественными, а процедуру пересдачи с известными ответами убрать.

Вот такой забавный случай использования математики в борьбе с коррупцией и злоупотреблениями.

Семен Есилевский

Читайте аналитику и блоги прямо у себя в Мессенджере или Фейсбуке