Методика многофакторного ранжирования как инструмент анализа результатов мониторинга высших учебных заведений

Журнал: «Ректор вуза», №5, 2017 15:24:00г.

Российскими органами государственной власти с начала XXI в. ведётся работа по оптимизации сети высших учебных заведений. В результате этой работы с 2012 г. организован и запущен ежегодный мониторинг эффективности деятельности образовательных организаций высшего образования.

Данный мониторинг проводится в целях обеспечения реализации Федерального закона от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации», постановления Правительства РФ от 05.08.2013 № 662 «Об осуществлении мониторинга системы образования», а также в соответствии с планом мероприятий («дорожной картой») «Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки», утверждённым распоряжением Правительства РФ от 30.04.2014 № 722-р.

из досье

Андрей Борисович Воров, главный специалист отдела исследований и мониторинга развития высшего образования, Национальный фонд подготовки кадров (НФПК)

В 2016 г. мониторинг эффективности деятельности образовательных организаций высшего образования проводился на основании приказа Минобрнауки России от 18.03.2016 № 244 «О проведении мониторинга эффективности образовательных организаций высшего образования».

Введение мониторинга эффективности образовательных организаций высшего образования вызвало неоднозначную реакцию вузовских администраций и научно-педагогической общественности. Причинами критического отношения явились как ограниченный набор пороговых значений показателей для оценки эффективности учебных заведений (например, значение среднего балла ЕГЭ абитуриентов не характеризует в целом эффективность многообразной образовательной деятельности вуза), так и не всегда удачные решения по реструктуризации сети высших учебных заведений и их филиалов, принимавшиеся по результатам мониторинга.

Но, несмотря на критику, практически общепризнано, что сформированная система проведения мониторинга и доступность его результатов обеспечили необходимую прозрачность системы высшего образования, повысили внутреннюю дисциплину вузов в ведении статистики и принятие обоснованных управленческих решений [1; 3–6].

Информационный ресурс, содержащий ежегодные результаты мониторинга и находящийся в открытом доступе на сайте Главного информационно-вычислительного центра Минобрнауки России, также предоставляет новые возможности для исследователей в области образования. Пользователи этого ресурса могут получить информацию о результатах деятельности отдельных вузов, оценить их соответствие установленным критериям эффективности Минобрнауки России, сравнить показатели с медианными значениями государственных и муниципальных вузов по стране в целом или в отдельных регионах.

Национальный фонд подготовки кадров (НФПК) увидел в мониторинге эффективности деятельности образовательных организаций высшего образования возможности для построения системы ранжирования и рейтингов высших учебных заведений. За основу были приняты положения модельной методологии многомерного ранжирования, разработанной и апробированной НФПК по заказу Министерства образования и науки РФ в период 2011–2012 гг. [2].

Одной из основных проблем проведения апробации разработанной методологии являлось отсутствие открытого источника информации о деятельности российских вузов, имеющего достаточно высокий уровень унификации данных и методологической основы их сбора и расчётов. В процессе сбора данных от вузов исследователи столкнулись с проблемами различий в учётной политике организаций, недостаточной дисциплиной при заполнении требуемых форм и отсутствием информации по ряду значимых показателей, что потребовало организации специальной деятельности в вузе по сбору требуемой статистики.

...сформированная система проведения мониторинга и доступность его результатов обеспечили необходимую прозрачность системы высшего образования, повысили внутреннюю дисциплину вузов в ведении статистики и принятие обоснованных управленческих решений...

База данных мониторинга эффективности деятельности образовательных организаций высшего образования решает эти проблемы. Несомненным плюсом также является ежегодный регламент проведения мониторинга, который способствует повышению качества собираемых данных, а единственным минусом — ограниченность набора показателей при описании того или иного направления деятельности университета.

Инструменты ранжирования и рейтингования вузов позволяют решать одновременно несколько задач. Их результаты могут быть использованы для:

— комплексного анализа и оценки деятельности вузов как индивидуальных объектов, так и групп, объединённых по каким-либо основаниям;

— продвижения российских вузов в глобальное образовательное пространство;

— оценки и сравнения вузов между собой, повышения их конкурентоспособности и определения направлений стратегического развития.

Национальным фондом подготовки кадров была собрана статистическая информация о деятельности более чем 150 российских университетов по результатам мониторинга эффективности деятельности образовательных организаций высшего образования, проведённого в 2014–2016 гг., которая использована для построения ранжирований и рейтингов.

Выборка российских вузов, используемых для построения ранжирования по мониторингу 2016 г., включает 181 вуз, в том числе:

— два ведущих классических университета с особым статусом;

— 10 федеральных университетов;

— 29 национальных исследовательских университетов;

— четыре университета — участника проекта «5–100», не относящихся к категории национальных исследовательских и федеральных университетов;

— 11 университетов — победителей конкурса опорных университетов;

— 40 университетов из числа победителей конкурса Минобрнауки России на оказание поддержки в реализации программ стратегического развития в течение 2012–2014 гг. (за исключением университетов — участников проекта «5–100» и проекта по созданию опорных университетов);

— семь университетов из числа победителей конкурса Мин-обрнауки России «Кадры для регионов»;

— 78 иных университетов, включая как минимум по одному от каждого субъекта Российской Федерации, а также имеющих высокую репутацию, отобранных экспертным путём.

Распределение 181 вуза по профилям образовательных организаций представлено в следующем виде:

— 77 классических университетов;

— 62 вуза инженерно-технического профиля;

— 10 педагогических вузов;

— 12 вузов социально-экономического профиля;

— 11 медицинских вузов;

— девять сельскохозяйственных вузов.

В качестве основы для построения ранжирований из общего перечня показателей мониторинга эффективности образовательных организаций высшего образования были выбраны значения 32 показателей каждого вуза, включённого в выборку. Используемые показатели были сгруппированы в четыре блока (по восемь показателей в каждом блоке) и охватывают основные направления деятельности вузов:

• образовательная деятельность (ОД);

• научно-исследовательская деятельность (НД);

• международная деятельность (МД);

• ресурсный потенциал вуза (ПВ), который включает финансово-экономическую деятельность, управление инфраструктурой и развитием кадрового состава вузов.

Данным набором показателей и направлений деятельности мы постарались отразить комплексную модель функционирования вузов, при этом обеспечив определённую преемственность с другими рейтингами университетов, в том числе глобальными.

Полный перечень используемых показателей для построения ранжирований представлен в таблице. Нумерация показателей соответствует утверждённой 21 марта 2016 г. № АК-6/05вн методике расчёта показателей мониторинга эффективности образовательных организаций высшего образования.

Таблица

Перечень показателей для построения комплексного ранжирования

№ п/п Показатели Единица измерения
1 Образовательная деятельность (ОД)
E1.1 Средний балл Единого государственного экзамена (далее — ЕГЭ) студентов, принятых по результатам ЕГЭ на обучение по очной форме по программам бакалавриата и специалитета за счёт средств соответствующих бюджетов бюджетной системы Российской Федерации и с оплатой стоимости затрат на обучение физическими и юридическими лицами балл
I1.2 Средний балл ЕГЭ студентов университета, принятых по результатам ЕГЭ на обучение по очной форме по программам бакалавриата и специалитета за счёт средств соответствующих бюджетов бюджетной системы Российской Федерации, за исключением лиц, поступивших с учётом особых прав и в рамках квоты целевого приёма балл
I1.3 Средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на обучение по очной форме по программам бакалавриата и специалитета с оплатой стоимости затрат на обучение физическими и юридическими лицами балл
I1.4 Усреднённый по реализуемым направлениям (специальностям) минимальный балл ЕГЭ студентов, принятых по результатам ЕГЭ на обучение по очной форме на программы бакалавриата и специалитета балл
I1.8 Удельный вес численности студентов, принятых по результатам целевого приёма на первый курс на очную форму обучения по программам бакалавриата и специалитета, в общей численности студентов, принятых на первый курс по программам бакалавриата и специалитета на очную форму обучения %
I1.9 Удельный вес численности студентов (приведённого контингента), обучающихся по программам магистратуры, в общей численности приведённого контингента обучающихся по образовательным программам бакалавриата, специалитета и магистратуры %
I1.13 Численность аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажёров образовательной организации в расчёте на 100 студентов (приведённого контингента) человек
I1.14 Удельный вес численности слушателей из сторонних организаций в общей численности слушателей, прошедших обучение в образовательной организации по программам повышения квалификации или профессиональной переподготовки %
2 Научно-исследовательская деятельность (НД)
E2.1 Объём научно-исследовательских и опытно-конструкторских работ (далее — НИОКР) в расчёте на одного научно-педагогического работника (далее — НПР) тыс. руб.
I2.1 Количество цитирований публикаций, изданных за последние пять лет, индексируемых в информационно-аналитической системе научного цитирования Web of Science, в расчёте на 100 НПР ед.
I2.2 Количество цитирований публикаций, изданных за последние пять лет, индексируемых в информационно-аналитической системе научного цитирования Scopus, в расчёте на 100 НПР ед.
I2.3 Количество цитирований публикаций, изданных за последние пять лет, индексируемых в Российском индексе научного цитирования (далее — РИНЦ), в расчёте на 100 НПР ед.
I2.4 Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Web of Science, в расчёте на 100 НПР ед.
I2.5 Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Scopus, в расчёте на 100 НПР ед.
I2.8 Удельный вес доходов от НИОКР в общих доходах образовательной организации %
I2.13 Удельный вес численности НПР без учёной степени — до 30 лет, кандидатов наук — до 35 лет, докторов наук — до 40 лет в общей численности НПР %
3 Международная деятельность (МД)
I3.1 Удельный вес численности иностранных студентов (кроме стран Содружества Независимых Государств (далее — СНГ)), обучающихся по программам бакалавриата, специалитета, магистратуры, в общей численности студентов (приведённый контингент) %
I3.2 Удельный вес численности иностранных студентов из СНГ, обучающихся по программам бакалавриата, специалитета, магистратуры, в общей численности студентов (приведённый контингент) %
I3.3 Удельный вес численности иностранных студентов, завершивших освоение образовательных программ бакалавриата, специалитета, магистратуры, в общей численности студентов (приведённый контингент) %
I3.8 Удельный вес численности иностранных граждан из числа НПР в общей численности НПР %
I3.10 Удельный вес численности иностранных граждан (кроме стран СНГ) из числа аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажёров образовательной организации в общей численности аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажёров %
I3.11 Удельный вес численности иностранных граждан из стран СНГ из числа аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажёров образовательной организации в общей численности аспирантов (адъюнктов), ординаторов, интернов, ассистентов-стажёров %
I3.12* Объём средств, полученных образовательной организацией на выполнение НИОКР от иностранных граждан и юридических лиц, в расчёте на одного НПР тыс. руб.
I3.13* Объём средств от образовательной деятельности, полученных образовательной организацией от иностранных граждан и юридических лиц, в расчёте на одного НПР тыс. руб.
Примечание: для исключения влияния масштаба вуза исходные показатели I3.12 и I3.13 были дополнительно пересчитаны в расчёте на одного НПР.
4 Ресурсный потенциал вуза (ПВ)
E4.1 Доходы образовательной организации из всех источников в расчёте на одного НПР тыс. руб.
I4.1 Доходы образовательной организации из средств от приносящей доход деятельности в расчёте на одного НПР тыс. руб.
I4.2 Доля доходов из средств от приносящей доход деятельности в доходах по всем видам финансового обеспечения (деятельности) образовательной организации %
I5.1 Общая площадь учебно-лабораторных помещений в расчёте на одного студента (приведённого контингента) кв. м
I5.7 Удельный вес стоимости машин и оборудования (не старше пяти лет) в общей стоимости машин и оборудования %
I7.1 Удельный вес НПР, имеющих учёную степень кандидата наук, в общей численности НПР %
I7.2 Удельный вес НПР, имеющих учёную степень доктора наук, в общей численности НПР %
I7.4 Число НПР, имеющих учёную степень кандидата и доктора наук, в расчёте на 100 студентов ед.

Выбор и группировка показателей мониторинга эффективности образовательных организаций высшего образования осуществлялись в соответствии со следующими принципами:

— использование удельных показателей для исключения влияния эффекта масштаба;

— отсутствие внешнего субъективного влияния на балльные оценки. При построении ранжирований не используются весовые коэффициенты — каждый показатель имеет равный вес. Таким образом, в результате анализа осуществляется констатирующее определение положения университета, основанное на существующих реалиях функционирования вузов;

— сбалансированность направлений деятельности по числу показателей. Равное число показателей в каждом блоке позволяет уравнять максимально возможный вклад каждого направления деятельности в итоговый балл и нивелирует возможные выбросы по отдельным показателям;

— исключение показателей, содержащих систематические ошибки в результатах, представляемых вузами. По результатам экспертного анализа в результатах мониторинга эффективности образовательных организаций высшего образования, проводимого Минобрнауки России в 2016 г., был обнаружен ряд показателей, по которым значительное количество вузов имело систематическую ошибку. В частности, к большому сожалению, это не позволило использовать такие интересные показатели, как «удельный вес численности обучающихся по программам магистратуры, подготовки научно-педагогических кадров в аспирантуре… имеющих диплом бакалавра, диплом специалиста или диплом магистра других организаций, в общей численности обучающихся по программам магистратуры, подготовки научно-педагогических кадров в аспирантуре…», «удельный вес средств, полученных образовательной организацией от использования результатов интеллектуальной деятельности, в общих доходах образовательной организации» и др.

Рис. Топ-30 вузов рейтинга по данным мониторинга 2016 г.

При нормировании данных для построения ранжирований был использован способ нормирования «отношение к референтному значению», при котором данные преобразуются путём их выражения через отношение к референтной величине. В данном случае референтной величиной является максимальное значение показателя среди университетов, используемых в выборке, которому присваивается значение 1, а значения остальных вузов по соответствующему показателю рассчитываются как отношение к этой величине. Итоговый балл представляет собой сумму нормализованных баллов по каждому показателю.

Сформированный массив данных для построения ранжирований, помимо количественных значений показателей, имеет ряд характеристик для построения аналитических срезов различных выборок:

• категория вуза (национальный исследовательский университет, федеральный университет, опорный университет, участник проекта «5–100» и др.);

• профиль вуза (классический, инженерно-технический, педагогический, социально-экономический и др.);

...целью проведения ранжирований было получение аналитической информации. Результаты ранжирований основываются только на количественных данных и не учитывают иные факторы, такие как репутация университетов, их история и т.д...

• субъект Российской Федерации, в котором расположен вуз;

• федеральный округ, в котором расположен вуз;

• ведомственная принадлежность вуза.

Согласно предложенному подходу по каждой выборке были произведены следующие виды ранжирований:

— ранжирование по каждому из четырёх выделенных направлений деятельности вузов;

— итоговый рейтинг, агрегирующий результаты ранжирований по четырём направлениям деятельности вузов.

В качестве примера группа лидеров итогового рейтинга университетов в общей выборке по данным мониторинга эффективности образовательных организаций высшего образования 2016 г. представлена на рисунке.

Если комментировать полученный результат, то в числе лидеров оказались университеты, получавшие на протяжении последних 10 лет существенную государственную поддержку и являющиеся участниками масштабных институциональных проектов (национальные исследовательские университеты, участники проекта «5–100», МГУ и СПбГУ).

Помимо этого, хорошие результаты продемонстрировали медицинские университеты (преимущественно за счёт показателей образовательной и международной деятельности) и ряд инженерно-технических вузов. Тем не менее по итогам ранжирований выявлены определённые особенности для университетов различного профиля в части результативности показателей, в связи с чем более детальный анализ деятельности отраслевых университетов рекомендуется проводить в узкопрофильных выборках.

Стоит отметить, что целью проведения ранжирований было получение аналитической информации. Результаты ранжирований основываются только на количественных данных и не учитывают иные факторы, такие как репутация университетов, их история и т.д.

Предложенный подход сравнительного анализа результативности деятельности российских университетов успешно апробирован НФПК по заказам различных стейкхолдеров. Например, для оценки положения ведущих российских университетов в системе российского высшего образования по заказу Минобрнауки России, для проведения сравнительного анализа положения университетов путей сообщения в системе высшего образования по заказу ОАО «РЖД», для анализа положения государственных университетов Вологодской области среди лучших российских университетов по заказу региональной администрации, для визуализации позиционирования Национального исследовательского университета «МЭИ» и др.

Таким образом, использование объективной информации, полученной в результате мониторинга эффективности вузов, и предложенной методики обработки мониторинговых данных позволило создать новый эффективный инструмент сравнительного анализа и бенчмаркинга деятельности отдельных вузов, региональных и отраслевых систем высшего образования с целью как совершенствования основных направлений деятельности конкретных учебных заведений, так и принятия системных управленческих решений по различным сегментам и системе образования в целом.

Минобрнауки инициирует создание региональных математических центров

Минобрнауки России запускает проект по созданию региональных научно-образовательных математических центров, сообщает официальный сайт министерства. В рамках проекта будет отобрано порядка 10 региональных университетов, которые имеют потенциал к развитию математического центра, причём не только внутри университета, но и с вовлечением опорных школ, чтобы научное направление привело к изменению содержания всех уровней образования.

Заявка формируется в произвольной форме и должна включать не более 10 страниц с указанием информации о:

— научной значимости факультета (института), который ведёт подготовку по программам магистратуры и аспирантуры по укрупнённой группе специальностей «Математика» (публикации, перечень журналов/изданий, в которых они опубликованы);

— существующих научных школах;

— готовности, в том числе при участии субъекта Российской Федерации и (или) муниципального образования, на территории которых она расположена, предоставить служебное жильё не менее чем для четырёх приглашённых специалистов, а также перечень других социальных гарантий.

В 2017 г. планируется создать 4–5 региональных научно-образовательных центров, в перспективе 3–5 лет обеспечивающих мировой уровень исследований и подготовки кадров от школы до университета и дальнейшего движения в аспирантуру и науку. Отбор площадок для реализации научно-образовательной программы будет осуществлён командами, сформированными из ведущих учёных и молодых специалистов.

Университеты, которые будут выбраны командами математиков, получат средства на развитие центра, в том числе на стажировки и собственные проекты молодых магистров и аспирантов, реализуемые во взаимодействии с ведущими российскими академическими институтами. В случае успешного развития центра будут дополнительно проведены конкурсы федеральных профессоров и молодых исследователей для усиления состава созданных центров.