Математическое моделирование образовательного процесса в оценке качества деятельности ВУЗа
Ризен Ю.С., Захарова А.А., Минин М.Г.

Аннотация

В статье представлен обзор базовых математических моделей контроля качества образовательного процесса, изложена математическая модель управления образовательным процессом, которая позволяет учитывать как потенциал, так и результативность деятельности вуза. Это позволяет дать интегральную оценку организации образовательного процесса.

Ключевые слова: математическая модель, вуз, образовательный процесс, оценка качества, функционалы качества, интегральная оценка.

Развитие высшей школы требует рассмотрения вуза как единой модели взаимодействия науки, образования и производства. Однако эффективное управление качеством образовательного процесса невозможно без формализации описаний педагогических явлений и процессов в виде их объективной оценки, что возможно лишь в случае использования методов математического моделирования. Проблемам построения математических моделей оптимального управления системой подготовки специалистов уделено немало внимания в статьях [1, 2, 3]. В работе [4] описан широкий спектр функционалов качества различных аспектов деятельности высшего учебного заведения, которые используются для решения задачи оптимизации управления качеством образовательного процесса. На управление вузом оказывают влияние многочисленные факторы неопределенности [1, 3, 5, 6]. То, в какой степени они учитываются, определяет не только на содержание модели описываемого процесса, но и выбор используемых математических методов.

Базовые математические модели контроля качества образовательного процесса

Наиболее простой математической моделью, которую применяют при контроле качества образовательного процесса, является балльная модель. Суть ее заключается в следующем: пусть X_i, X₂,... , X_n — совокупность количественных показателей, характеризующих состояние выбранного объекта на данный момент времени t и результаты его деятельности за предшествующий контрольный период. В этом случае генеральный рейтинг выбранного объекта можно рассчитать по формуле:

R = a₁X₁ + a₂X₂ + … + a_nX_n, где a_i — весовые множители, назначаемые экспертами эвристически. Достоинствами балльной модели являются ее простота и малая трудоемкость, но она обладает и рядом недостатков, в числе которых: необходимость выбора весовых множителей экспертным путем; отсутствие учета зависимостей между количественными показателями X_i, которые устанавливаются в ходе математической обработки статистических данных; суммирование величин, имеющих разные размерности; невозможность оценки степени реализации потенциала.

Более совершенная по сравнению с предыдущей — нормативно-классификационная модель расчета рейтингов [3], в которой совокупность исходных показателей состояния и активности деятельности заданного объекта разделяется на два множества показателей:

во-первых, показатели потенциальных возможностей, характеризующие состояние и потенциальные возможности выполнения различных видов деятельности;

во-вторых, показатели активности или результативности, характеризующие результаты функционирования данного объекта за предшествующий период планирования.

Показатели первого множества разделяются на некоторое количество классов, каждый из которых имеет специфические признаки, а показатели второго множества подразделяются на некоторое количество видов деятельности. Далее показатели потенциальных возможностей и видов деятельности каждой из групп нормируются относительно некоторых величин, имеющих экономический смысл. Для каждой группы потенциальных возможностей и вида деятельности экспертным методом определяются весовые коэффициенты и осуществляется вычисление рейтингов потенциалов по различным видам потенциальных возможностей и рейтингов активности (результативности) по различным видам деятельности.

Эталонная модель управления большими системами управления была предложена профессором В.И. Чернецким для синтеза самонастраивающихся (адаптирующихся) систем автоматического управления сложными многоконтурными техническими объектами [7]. Модель такого типа предполагает выбор некоторого идеального (гипотетического, эталонного) объекта управления, значения параметров которого являются оптимальными в том или ином смысле (это предположение не всегда практически реализуемо). Затем значения контролируемых параметров всех других объектов управления, относящихся к тому же типу, что и эталонный объект, оцениваются по отклонениям (или отношениям) от значений параметров эталонного объекта. На основе результатов сравнения фактических и эталонных значений контролируемых параметров синтезируется дополнительный контур управления (контур адаптации и самонастройки), основной целью которого является последовательное изменение некоторых технологических параметров, определяющих динамику движения объекта в необходимом направлении. При использовании основной идеи принципа эталонных моделей рейтинговые модели управления большими системами, по существу, являются математическими моделями синтеза дополнительных контуров адаптации большой системы управления, обеспечивающих достаточно высокую эффективность их функционирования в сложных динамически изменяющихся или непредсказуемых (неопределенных) условиях при наличии субъективных (человеческих) факторов, определяемых, в частности, множеством неконтролируемых воздействий.

В литературе последних лет популярна модель ранжирования объектов системы высшего образования. Вводится комплексный интегральный показатель качества объекта, основанный на объективной значимости каждого фактора:

_n

R(S_i)=∑k_ijH_j , i=1,…,m, (1)

^j=1

где R(S_i) — интегральное качество объекта S_i; m — количество объектов; n — количество признаков; H_j — значимость j-го признака; k_ij — качественная оценка j-го признака для i-го объекта. В качестве меры значимости фактора часто предлагается использовать значение энтропии признака (по К. Шеннону [8]) как объективную меру неопределенности значений признака:

_Kj

H_j = -∑ p_jt ln p_jt , j=1,…,n,

^t=1

где K_j — число качественных уровней j-го признака (системное основание качества); p_jt — вероятность (частота) встречаемости качественной оценки k_ij = t в распределении j-го признака. В этом случае большую значимость будут иметь признаки с большей степенью разброса значений в анализируемой выборке. В обобщенном виде алгоритм ранжирования объектов системы высшего образования выглядит так.

Шаг 1. Выбор числа качественных уровней K_j, j = 1,,n.

Шаг 2. Выбор параметров преобразования исходных величин и интенсивностей к качественным аналогам: максимального и минимального значения каждого признака (это могут быть абсолютные значения или локальные; применение локальных (частных) минимумов/максимумов не рекомендуется в условиях малого объема исходных данных).

Шаг 3. Перевод исходных данных в качественные аналоги по формуле

k_ij = 1+ round ((x_ij- x_jmin)( K_j - 1)/(x_jmax - x_jmin )),

где x_ij — исходная количественная величина или качественное значение j-го фактора для i-го объекта; x_jmax , x_jmin — максимальное и минимальное значения j-го признака; round() — операция арифметического округления.

Шаг 4. Нахождение энтропии H_j каждого признака.

Шаг 5. Вычисление интегрального качества каждого объекта по формуле (1).

Шаг 6. Ранжирование набора объектов по найденным значениям интегрального качества.

Шаг 7. Анализ полученных результатов и принятие управленческих решений для коррекции состояния и координации дальнейшего развития.

Шаг 8. В случае анализа подсистем макрообъекта — нормирование полученных показателей интегрального качества по максимально возможному теоретическому значению и передача данных на более высокий уровень.

Математическая модель управления образовательным процессом

Если считать, что текущее состояние учебного процесса определяется набором из d некоторых чисел z₁, z₂,..., z_d (можно утверждать, что состояние учебного процесса может быть определено конечным набором чисел, т.к. согласно принципу В. Парето [9] в большинстве случаев основная доля потерь качества возникает из-за относительно небольшого числа причин), то математически этот набор удобно представлять как вектор в d-мерном вещественном пространстве:

Z=(z₁, z₂,…,z_d) ϵ R^d.

На практике размерность вектора Z может оказаться очень высокой. Кроме того, многие компоненты вектора текущего состояния Z трудно (а иногда и невозможно) определить в конкретный момент времени. Например, довольно сложно количественно выразить качественный уровень подготовки отдельного студента. Математическая модель описания подразумевает выделение для практического использования некоторого набора измеряемых данных

Y= (y₁, y₂,…,y_m) ϵ R^m,

значения которого предполагаются доступными наблюдателю в выбранный момент времени. Компонентами вектора Y могут являться как некоторые наблюдаемые компоненты вектора Z, так и функции от одной или нескольких компонент вектора Z, причем типичным является случай, при котором значения наблюдаемых величин могут определяться не только текущими переменными состояния, но и предшествующими их значениями. Примерами наблюдаемых величин могут быть текущие оценки определенного студента или средний бал студента за весь период обучения. Обычно размерность m вектора наблюдений существенно меньше d, если рассматривается детализированная модель с высокой размерностью пространства состояний.

Для текущего момента времени t обозначим Z_t(-) траекторию в пространстве состояний рассматриваемой системы от некоторого начального состояния Z_o до текущего Z_t, Y_t — текущее состояние вектора наблюдений. Как правило, на формирование значений вектора наблюдений могут оказывать влияние не только значения вектора состояний системы вдоль траектории, но и различные неизвестные внешние возмущающие факторы, совокупность которых обозначим W_t.

Задача о восстановлении (оценивании) всего вектора состояния Z_t или его части по наблюдениям Y_t(-) является классической задачей фильтрации. В статической постановке (без введения изменяющегося времени t) — это типичная задача регрессионного анализа, но для информационных моделей, описывающих сложные процессы, определяемые поведением групп людей, математические результаты классических теорий часто не дают хороших результатов, т.к. поведение людей часто непредсказуемо. Таким образом, возникает необходимость разработки аналитических методов, не опирающихся на строгие теоретические ограничения модели и неконтролируемых возмущений. В теории управления процессами, на которые оказывают влияние неконтролируемые помехи, рассматриваются задачи робастного проектирования, цель которого — подобрать такие входные параметры (уровни), чтобы обеспечить наилучшие показатели на выходе. Факторы помех W — это неуправляемые факторы, но они влияют на отклик, и их уровни определяются внешними условиями, на фоне которых происходит процесс. Формула для вектора текущих наблюдений выглядит так:

Y_t= G_t(Z_t(-),W_t),

где G_t(-,-) — некоторая функция от траектории и неизвестных возмущающих факторов.

Решение аналитических задач часто связано с широким кругом проблем принятия решения, поэтому для формализации описания в информационную модель помимо векторов состояния и наблюдений включается набор управляющих воздействий

U=(u₁, u₂,…,u_l) ϵU c R^l,

где l — размерность вектора управлений, U — некоторое (обычно ограниченное) множество возможных значений управлений. Оценка качества принятия решения подразумевает введение некой количественной характеристики, определяемой реализовавшимся процессом обучения. В простейшем случае это может быть величина типа “да—нет”, характеризующая выбранную стратегию управления U_t(-) как хорошую или плохую. В общем случае оценка качества может быть многокритериальной и более вариативной:

Ф₁(Z_t (.), U_t (.))

Ф (Z_t (.), U_t (.))= Ф₂(Z_t (.), U_t (.)) ϵ Rⁿ

…

Ф_n(Z_t (.), U_t (.))

Функции Ф₁(Z_t (.), U_t (.)), i = 1, 2 ,...,n называют функционалами качества. Понятие функционал качества при рассмотрении задач оптимального управления образовательным процессом не новое, но некоторые авторы [1] не придают большого значения неконтролируемым помехам, исключить которые нельзя. Задание функционалов качества позволяет перейти к формализации понятия о цели принятия решения. В многокритериальном случае (n > 1) естественно возникает множество целей, и для каждой из них i = 1, 2, . . . , n возможна формализация Ф (Z_t (.), U_t (.)) →max (min), т.е. достижение того или иного оптимального значения, или Ф (Z_t (.), U_t (.)) ϵS_t c R^l, т.е. достижение определенного множества.

Возможны два случая:

• управляющее воздействие U_t(.) таково, что все рассматриваемые функционалы качества достигают оптимального значения или принимают значение из области допустимых значений. Естественно будет назвать это управляющее воздействие оптимальным;

• управляющему воздействию U¹_t (.) соответствует набор Ф¹ значений функционалов качества, а другому управляющему воз­действию U²_t(.) соответствует другой набор Ф² значений функционалов качества. При этом некоторые компоненты набора Ф¹ являются оптимальными значениями соответствующих функционалов качества, а другие — нет. Такая же ситуация и для набора Ф², но для других компонент. Если не существует управляющего воздействия (стратегии) U_t(.), отвечающего первому случаю, то для выбора оптимальной стратегии необходим способ сравнения стратегий U¹_t (.) и U²_t(.).

Если считать, что для всех функционалов качества решается задача максимизации их значений, то при сравнении стратегий управления во втором случае обычно пред­полагается использование одного из двух подходов — либо аддитивной либо мультипликативной модели при конструировании свертки функционалов качества. При этих подходах предполагается задание наборов весовых коэффициентов a₁,a₂,... ,а_п или µ₁, µ₂,..., µ_n и введение интегрального функционала Ф, который в случае аддитивной модели имеет вид: _ _n

Ф = ∑ α_tФ_t ,

^t=1

а для мультипликативной — _ _n

Ф = П Ф_t^µ_t .

^t=1

Основные функционалы качества образовательного процесса

Все показатели, определяющие качество деятельности образовательного учреждения, делятся на две группы — показатели потенциала и показатели результативности (включающие в себя также показатели процесса). На основе этой классификации стоит рассматривать классификацию и функционалов качества об­разовательного процесса [4].

1. Показатели потенциала – это функционалы оценки:

1.1. соотношения докторов наук, профессоров и студенческого контингента;

1.2. степени академической мобильности;

1.3. степени участия вуза в научных исследованиях;

1.4. соотношения объема финансирования научных исследований и численности научно-педагогических кадров;

1.5. соотношения научных специальностей спецсоветов вуза и его профессионально-образовательных программ;

1.6. информационного обеспечения учебно-научного процесса вуза;

1.7. материальной базы вуза;

1.8. социально-бытовой базы вуза;

1.9. контингента абитуриентов.

2. Показатели результативности, к которым относятся функционалы оценки:

2.1. степени участия вуза в совместной подготовке специалистов;

2.2. степени международного признания вуза в образовательно-профессиональной деятельности;

2.3. эффективности подготовки научно-педагогических кадров (кандидатов наук);

2.4. результативности научной деятельности вуза;

2.5. доходов вуза от подготовки специалистов;

2.6. полных расходов вуза;

2.7. качества подготовки выпускников;

2.8. степени востребованности выпускников;

2.9. результативности работы с абитуриентами;

2.10. качества подготовки студентов;

2.11. соотношения обязательных и элективных дисциплин учебного плана;

2.12. эффективности учебно-методической деятельности профессорско-преподавательского состава вуза.

Построение интегральных оценок деятельности вузов

Задача о соотносимости между собой различных критериев в общем случае очень сложна и может быть решена только на этапе постановки задачи экспертами в выбранной предметной области. Типичным подходом является сведение многокритериальной задачи к однокритериальной за счет определения нового функционала качества, включающего в себя в том или ином виде исходные, т.е. необходим функционал качества, вычисляющий некоторый интегрированный показатель. Таким образом, интегрированное оценивание традиционно предполагает наличие этапа, связанного с объединением в одно целое ранее разнородных оценок с учетом их вклада в общую оценку. Однако часто наличие многокритериальности приводит к проблеме возможной несравнимости получаемых многокритериальных оценок. Такая несравнимость, в частности, может быть устранена введением нескольких уровней свертки информации.

Часто используют аддитивный подход для конструирования интегрированного показателя (например, при определении рейтингов вузов). Его же рассматривают Ю.Б. Васенев, М.В. Михайлов и Н.В. Хованов [10], используя схему рандомизации весовых коэффициентов. Однако практические исследования показывают, что связь между показателями скорее мультипликативная, чем аддитивная, поскольку при аддитивной связи низкий уровень одного из показателей может быть вполне компенсирован высоким значением другого. Но если необходимо подчеркнуть значимость каждого из показателей, такая ситуация недопустима. При мультипликативной же связи учитывается значимость каждого из показателей.

Исходя из всего вышесказанного, следует ввести три интегральных показателя I_k, k=1, 2, 3, каждый из которых выражен произведением частных. Также ранее были рассмотрены функционалы, которые можно использовать для расчета частных показателей (X_r,Y_r), r = 1,2,…, 21, значения которых дают представление о том, какое место занимает данный вуз среди множества однопрофильных вузов по данному показателю, а также динамику изменения данного показателя в конкретном вузе за иссле­дуемый год по сравнению с предыдущими q годами. Очевидно, что величины частных показателей (относительных величин) деятельности вузов находятся в пределах
0 < (X_r ,Y_r) < (max_rX_r,max_rY_r). Это существенно осложняет проблему формирования интегрального показателя. Чтобы исключить возможные случаи обращения в 0 интегральных показателей, а также в целях уменьшения влияния на них величин близких к 0 и наиболее высоких темпов роста частных показателей, следует произвести сжатие числового выражения приростов всех относительных величин в одно и то же число раз

((X_r-1)/ max_rX_r)+1= A_r ,

((Y_r-1)/ max_rY_r) +1 = B_r .

В тех случаях, когда не определялось значение Y_r, следует соответствующее значение B_r считать равным 1. При введенных обозначениях следующими интегральными показателями характеризуются:

потенциал вуза I₁ = П (A_rB_r) ^µr

^r=1

₂₁

результаты деятельности вуза I₂ = П (A_rB_r) ^µr

^r=10

общая оценка состояния и функционирования вуза I₃ = (I₁) ^ω1 (I₂) ^ω2

В этих формулах µ_r, r = 1,2,...,21, ω₁ и ω₂ — это весовые коэффициенты, которые могут быть определены экспертным путем с учетом нормировки и результатов количественных расчетов на ЭВМ.

Если все показатели деятельности вуза соответствуют усредненным их величинам по всей совокупности однопрофильных вузов и к моменту учета не изменились, то I₃ = 1. Если I₃ > 1, то вуз может характеризоваться как благополучный с точки зрения роста его важнейших качественных показателей, в основном превышающих средний их уровень по однопрофильным вузам, I₃ < 1 — свидетельство недостаточной работы вуза по развитию вышеуказанных показателей. Таким образом, показатель I₃ можно использовать для интегральной оценки качества работы вуза по организации образовательного процесса.

Предложенная математическая модель управления образовательным процессом позволяет дать комплексную оценку деятельности вуза за определенный период времени. К достоинствам описанной модели можно отнести то, что за счет введения нескольких уровней свертки появляется возможность объединения в оценке разнородных показателей с учетом значимости каждого из них. Это позволяет сравнивать получаемые многокритериальные оценки и определять наиболее сильные и слабые стороны в работе вуза по организации образовательного процесса, а также планировать выполнение показателей в контексте полученной интегральной оценки.

Литература

1. Аветисов А.А., Камышникова Т.В. Оптимизационная модель оценки и управления качеством подготовки студентов в вузе // Проблемы качества, его нормирования и стандартов в образовании. М.: Исследовательский центр проблем качества подготовки специалистов, 1998. С. 105—109.

2. Сухинин В.П., Горшенина М.В. Проектирование дополнительных образовательных услуг на основе методов Г. Тагути // Управление качеством высшего образования: теория, методология, организация, практика. СПб. —Кострома: Смольный институт РАО, изд-во КГУ, 2005. Т. 3. C. 80—85.

3. Васильев В.Н. и др. О математических моделях оптимального управления системой подготовки специалистов. Петрозаводск: изд-во Петр.ГУ, 1997.

4. Мешалкин В.И. Учреждения высшего и среднего профессионального образования в Российской Федерации. Аккредитация самообследование - рейтинг. М.: изд-во РУДН, 1995.

5. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М: Наука, 2003.

6. Granichin O.N. Linear regression and filtering under nonstandard assumptions (Arbitrary noise) // Trans. on Automat. Contr. 2004. V. 49. P. 1830—1835.

7. Чернецкий В.И. Математическое моделирование динамических систем. Петрозаводск: изд-во Петр.ГУ, 1996.

8. Shannon C.E. A mathematical theory of communication // The Bell System Tecnical Journal. V. 27. P. 379—423, 623—656. July—October. 1948.

9. Pareto V. The Mind and Society. A Treatise on General Sociology. Ed by Arthur Livingston. N.Y.: Dover. V. 1, 2.

Васенев Ю.Б., Михайлов М.В., Хованов Н.В. Оценка деятельности субъектов учебного процесса // Материалы конференции КС и УМО вузов в области инновационных междисциплинарных образовательных программ. 14—15 апреля 2005 г. Информационный бюллетень. № 6. СПб, 2005. С. 42-51.

__________________________________

РИЗЕН Юлия Сергеевна

Ассистент кафедры инженерной графики и промышленного дизайна

Томского политехнического университета

ЗАХАРОВА Алена Александровна

Доктор технических наук, доцент,

директор Института кибернетики

Томского политехнического университета

МИНИН Михаил Григорьевич

Доктор педагогических наук, профессор, заведующий кафедрой инженерной педагогики

Томского политехнического университета