Семериков А. В.
Оценка согласованности мнений студентов

УДК 378.141.21:330.47, ВАК 05.13.01:08.00.05

Оценка согласованности мнений студентов

Assessment of consistency
of students opinions

А. В. Семериков

A. V. Semerikov

Ухтинский государственный технический университет, г. Ухта

Ukhta State Technical University, Ukhta

В статье рассматривается количественный показатель оценки важности и полезности дисциплин, предложенных в процессе обучения студентов в университете. Для получения оценки использован статистический метод. В качестве критерия был принят коэффициент конкордации Кендела и коэффициент ранговой корреляции Спирмена. Проведенные исследования позволили установить согласованность мнений студентов на первом и четвертом курсах. В то же время согласованность мнений на втором и третьем курсах находится на низком уровне.

The article deals with the quantitative indicator of assessing the importance and usefulness of the disciplines proposed in the process of teaching students at the University. A statistical method was used to obtain an estimate. The criterion was adopted by the Kendal coefficient of concordance and Spearman’s rank correlation. The conducted researches allowed to establish consistency of opinions of students at the first and fourth courses. At the same time, the consistency of opinions in the second and third courses is low.

Ключевые слова: статистический метод, коэффициент конкордации коэффициент ранговой корреляции, критерий согласования Пирсона, согласованность мнений экспертов.

Keywords: statistical method, the coefficient of concordance the coefficient of rank correlation, the criterion of matching Pearsonthe consistency of experts opinions.

Введение

На протяжении учебы в университете студентам предлагаются для освоения множество дисциплин. Перечень дисциплин определен государственным образовательным стандартом. В результате освоения всех дисциплин студент получает соответствующее квалификационное удостоверение. При поступлении в университет студент сам выбирает интересующую его специальность на основании имеющейся информации. В то же время, как правило, он не знаком с перечнем и содержанием изучаемых дисциплин. Поэтому в ходе обучения студент может испытать любовь к одним предметам или разочарование к другим.

Образовательный процесс представляется более эффективным, когда большинство студентов одинаково оценивают предложенные дисциплины. Под словом одинаково подразумевается большое совпадений их мнений о полезности дисциплин в дальнейшей учебной и трудовой деятельности. При этом, естественно, предпочтения студентов могут быть и диаметрально противоположные. Для определения количественного показателя мнений студентов необходимо провести формализованный сбор информации о предпочтениях студентов и выполнить обработки полученных сведений специальным способом.

Для получения числовой характеристики общего суждения студентов представляется возможным использовать статистические методы.

Экспериментальная часть

Английским статистиком Кенделом [1] был предложен коэффициент конкордации W, позволяющий оценивать степень согласованности мнений экспертов.

,

где     ; ;

– число одинаковых рангов поставленных i-ым cтудентом; M – количество студентов; N – количество дисциплин.

Будучи теоретически обоснованным, он позволяет с достаточной степенью уверенности судить о согласованности мнений экспертов в некоторой группе. В настоящее время коэффициент конкордации широко используется для оценки качества продукции на основе опроса экспертов [2].

Применительно к рассматриваемой задаче в качестве экспертов выступают студенты, а в качестве группы выступает перечень дисциплин. Перед проведением расчета коэффициента конкордации W необходимо провести опрос студентов об их предпочтениях. Суть его состоит в следующем. Каждому студенту предлагается анонимно определить ранг дисциплины. Самый высокий ранг 1 получает дисциплина с наибольшим предпочтением. Самый низкий ранг получает дисциплина с самым низким предпочтением, который равен числу количества всех оцениваемых дисциплин N. Все оставшиеся дисциплины могут получить ранги равными числам между 1 и N. Если студент затрудняется отдать предпочтение одному предмету перед другими, то он может приписывать двум или более дисциплинам одинаковые ранги. Все полученные результаты опроса записываются в таблицу.

Оценки значимости коэффициента конкордации вычисляется по критерию согласия Пирсона :

.

Для определения согласованности мнений и динамики предпочтений были проведены анонимные опросы студентов с первого по четвертый курсы.

На первом курсе в первом семестре студентам по направлению подготовки 09.03.02 Информационные системы и технологии и направлению подготовки были предложены следующие 8 дисциплин:

1. Математика.

2. История.

3. Физика.

4. Теория алгоритмов.

5. Информатика.

6. Робототехника.

7. Физкультура.

8. Иностранный язык.

При этом информацию о робототехнике студенты по направлению подготовки 09.03.02 получали самостоятельно из открытых источников. Результаты опроса студентов представлены в таблице 1.

Таблица 1. Результаты опроса 1 курса

№ студента

Дисциплины

1

2

3

4

5

6

7

8

1

5

8

7

1

3

4

6

2

2

3

8

6

1

5

4

7

2

3

4

6

5

1

2

3

8

7

4

3

7

8

1

2

4

6

5

5

5

6

3

1

2

4

8

7

6

5

8

7

1

3

2

6

4

7

3

8

4

1

2

5

7

6

8

1

7

6

2

3

3

8

5

9

3

6

5

1

2

4

8

7

10

2

1

5

1

3

8

7

4

11

4

8

6

1

2

5

7

3

12

5

6

7

1

2

3

8

4

Согласно представленным данным коэффициент конкордации W = 0,7, расчетный коэффициент = 58,8, который больше табличного = 14,06 для степеней свободы 8 – 1 = 7 и уровне значимости 0,05. Поэтому можно утверждать, что величина коэффициента конкордации не случайная, согласованность действительно высокая.

Для иллюстрации динамики предпочтений далее представлены результаты расчета коэффициента конкордации для студентов второго курса. При этом был проведен опрос мнений среди учащихся текущего второго курса как за предыдущий первый курс, так и за текущий второй курс (табл. 2 и 3).

Таблица 2. Результаты опроса 2 курса по дисциплинам 1 курса

№ студента

Дисциплины

1

2

3

4

5

6

7

8

1

2

8

3

1

1

1

5

5

2

8

7

1

1

2

1

6

2

3

5

5

3

1

1

9

3

1

4

4

5

1

8

3

6

7

2

5

4

5

7

1

8

6

3

2

6

1

6

2

8

7

5

1

3

7

2

5

3

7

1

4

6

8

8

4

3

3

5

5

2

5

1

9

1

8

6

1

4

3

5

2

Согласно представленным данным коэффициент конкордации W = 0,2. Расчетный = 13,2 больше табличного = 12,0 для степени свободы 8 – 1 = 7 и уровне значимости 0,1. Поэтому можно утверждать, что величина коэффициента конкордации не случайная, согласованность действительно низкая. В то же время для уровня значимости 0,05 величина коэффициента конкордации случайная. В этом случае для более обоснованного принятия решения необходимо проведение дополнительных исследований.

Таблица 3. Результаты опроса 2 курса по дисциплинам 2 курса

№ студента

Дисциплины

1

2

3

4

5

6

7

8

9

1

3

3

8

5

1

1

2

9

7

2

4

3

1

1

1

1

2

9

4

3

5

4

1

6

1

1

4

7

7

4

1

2

4

1

1

1

2

1

5

5

5

9

8

6

1

9

3

7

2

6

4

3

6

7

1

2

5

9

8

7

7

6

5

1

4

8

9

3

2

8

2

6

8

3

4

5

9

7

1

9

1

2

5

2

3

1

1

1

5

10

3

2

4

2

1

9

2

9

1

Согласно представленным данным коэффициент конкордации W = 0,35. Расчетный = 27 больше табличного = 15,5 для степени свободы 9 – 1 = 8 и уровне значимости 0,05. Поэтому можно утверждать, что величина коэффициента конкордации не случайная, согласованность действительно низкая.

Подобным образом были проведены расчеты коэффициента конкордации для всех четырёх курсов. Результаты расчетов представлены в таблице 4.

Таблица 4. Коэффициенты конкордации с 1-го по 4-ый курсы

Эксперты (курс)

W за i-ый год обучения

1

2

3

4

1

0,7

2

0,2

0,35

3

0,28

0,2

0,39

4

1

0,68

1

0,54

На основании данных таблицы 4 можно утверждать следующее. Уровень согласованности мнений о предпочтениях студентов на первом и четвертом курсах высокий. Противоположные мнения наблюдаются у студентов второго и третьего курсов. Можно предположить несколько причин такого рассогласования мнений. Первая причина может быть обусловлена ошибочным заполнением предпочтений. Второй причиной такой рассогласованности может быть разделение студентов на несколько групп по предпочтениям. Для выявления этих групп можно использовать ранговый коэффициент корреляции Спирмена или Кендалла.

Для анализа полученных результатов опроса студентов и установления связи мнений студентов был использован ранговый коэффициент корреляции Спирмена. Для исследования были выбраны суждения студентов второго и третьего курсов, так как здесь наблюдается большая несогласованность мнений при оценке ранее читаемых дисциплин. В тоже время, следует заметить, по этим же дисциплинам между студентами первого курса наблюдается хорошая согласованность мнений. Для установления групп студентов с совпадающими мнениями были проведены парные сравнения опросов, представленные в таблицах 2 и 3. Полученные коэффициенты корреляции Ri,j представлены в таблицах 5 и 6, где i и j номера студентов.

Таблица 5. Ранговый коэффициент корреляции Спирмена Ri,j по результатам опроса 2 курса по дисциплинам 1 курса

n/R

Номера попарно сравниваемых студентов,
коэффициенты ранговой корреляции

i-j

1-2

1-3

1-4

1-5

1-6

1-7

1-8

Ri,j

0,57

0,14

0,1

0,31

0,43

0,17

0,52

i-j

2-1

2-3

2-4

2-5

2-6

2-7

2-8

Ri,j

0,07

0,12

0,05

0,26

0,19

0,24

i-j

3-1

3-2

3-4

3-5

3-6

3-7

3-8

Ri,j

0,21

0,21

0,38

0,2

0,17

i-j

4-1

4-2

4-3

4-5

4-6

4-7

4-8

Ri,j

-0,5

0,36

0,52

-0,29

i-j

5-1

5-2

5-3

5-4

5-6

5-7

5-8

Ri,j

-0,83

-0,12

0,57

i-j

6-1

6-2

6-3

6-4

6-5

6-7

6-8

Ri,j

-0,19

0,21

i-j

7-1

7-2

7-3

7-4

7-5

7-6

7-8

Ri,j

-0,21

Представленные в таблице 4 результаты расчета рангового коэффициента корреляции позволяют принять нулевую гипотезу о нулевой зависимости суждений при парном сравнении, так как для уровня значимости p = 0,05 критическое значение коэффициента корреляции Спирмена Rкрит = 0,72, что существенно больше представленных выше коэффициентов.

Такой же расчет коэффициента Спирмена проведен по данным опроса студентов второго курса по дисциплинам второго курса. Результаты расчета представлены в таблице 6.

Таблица 6. Ранговый коэффициент корреляции Спирмена Ri,j по результатам опроса 2 курса по дисциплинам 2 курса

n/R

Номера попарно сравниваемых студентов,
коэффициенты ранговой корреляции

i-j

1-2

1-3

1-4

1-5

1-6

1-7

1-8

1-9

Ri,j

0,65

0,75

0,23

0,07

0,88

-0,6

0,02

0,15

i-j

2-1

2-3

2-4

2-5

2-6

2-7

2-8

2-9

Ri,j

0,8

0,18

-0,05

0,6

0,13

-0,07

-0,23

i-j

3-1

3-2

3-4

3-5

3-6

3-7

3-8

3-9

Ri,j

0,08

-0,13

0,83

-0,6

-0,3

-0,18

i-j

4-1

4-2

4-3

4-5

4-6

4-7

4-8

4-8

Ri,j

-0,08

0,17

-0,02

-0,08

0,68

i-j

5-1

5-2

5-3

5-4

5-6

5-7

5-8

5-9

Ri,j

-0,05

0,23

0,38

-0,13

i-j

6-1

6-2

6-3

6-4

6-5

6-7

6-8

6-9

Ri,j

-0,57

0

-0,1

i-j

7-1

7-2

7-3

7-4

7-5

7-6

7-8

7-9

Ri,j

0,47

-0,37

i-j

8-1

8-2

8-3

8-4

8-5

8-6

8-7

8-9

Ri,j

-0,3

Представленные в таблицах 5, 6 результаты расчета коэффициента корреляции парных сравнений свидетельствуют об отсутствии общего мнения студентов о полезности читаемых дисциплин. При этом не представляется возможным выделить группы студентов с явно выделенными предпочтениями.

Для выявления второй причины такого рассогласования был проведен повторный опрос студентов по прошествии четырех месяцев. Результаты повторного опроса представлены в таблице 7.

Таблица 7. Результаты повторного опроса студентов 2 курса
по дисциплинам 1 курса

№ студента

Номера дисциплин

1

2

3

4

5

6

7

8

1

6

1

3

8

8

7

8

5

2

8

6

8

5

7

4

7

8

3

2

5

4

7

7

1

7

6

4

1

5

1

3

2

1

1

5

5

8

4

5

8

8

7

2

8

6

7

1

3

8

6

7

5

7

7

7

4

4

4

8

8

8

8

8

7

4

4

6

8

8

7

8

9

7

4

4

6

8

8

7

8

10

6

1

3

8

8

7

8

5

Коэффициент конкордации в этом случае равняется W=0,29. Этот результат вновь свидетельствует о смене общих предпочтений о полезности читаемых дисциплин.

Выводы

На основании проведенных исследований представляется возможным утверждать следующее:

1. Уровень согласованности мнений о предпочтениях студентов на первом и четвертом курсах высокий. Противоположные мнения наблюдаются у студентов второго и третьего курсов.

2. При высоком уровне согласованности явно просматриваются как лидеры (дисциплины), так и аутсайдеры в предпочтениях. При этом не представляется возможным оценить этот факт. С одной стороны, это положительное явление, а с другой стороны это можно трактовать как отрицательный результат. При высоком согласии большинство студентов оказывают предпочтение одним и тем же предметам, тем самым наблюдается перекос в одну сторону. При низкой согласованности наблюдается широта интересов.

3. Предпочтения студентов не постоянны во времени. Так, высокие предпочтения к предметам на первом курсе уменьшаются по прошествии одного и более лет. Тем самым отмечается переосмысление мнений по одним и тем же предметам.

4. Для более точной оценки мнений студентов необходимо проведение повторных опросов c различным составом студентов, чтобы установить наличие групп студентов, оказывающих большое влияние на уровень согласованности мнений. Тем самым можно установить, меняются ли предпочтения студентов через год и более. И в конечном счете результаты расчетов можно будет использовать для корректировки учебного процесса.

Список литературы

1. Kendall, M. G.; Babington Smith, B. (Sep 1939). The Problem of m Rankings. The Annals of Mathematical Statistics 10 (3): 275–287.

2. Основы экономического прогнозирования [Электронный ресурс]. Режим доступа: http://bibook.ru/books/32686/default.htm.

List of references

1. Kendall, M. G., Babington Smith, B. (Sep 1939) “The Problem of m Rankings”, The Annals of Mathematical Statistics, 10 (3): 275–287.

2. Basics of Economic Forecasting. Mode of access: http://bibook.ru/books/32686/default.htm.

VN:F [1.9.17_1161]
Rating: 0.0/10 (0 votes cast)
VN:F [1.9.17_1161]
Rating: 0 (from 0 votes)
VN:F [1.9.17_1161]
Стиль изложения
Информативность
Сложность вопроса
Научная новизна
Коммерциализуемость
Rating: 0.0/5 (0 votes cast)