Задачи обработки

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами — средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.