Экспертное оценивание. Мера согласованности.

Может оказаться, что мнение какого-либо эксперта или экспертов, плохо сочетающиеся со среднеарифметическим мнением окажется истинным. Поэтому важнейшую роль здесь и приобретают процедуры качественной обработки оценок экспертов.

При обработке экспертных данных мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать и выявлять причины несовпадения суждений. Мера согласованности определяется на основе статистических данных всей группы экспертов. Для её оценки используются как правило коэффициенты конкордации: дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значение от 0 до 1. При 0 нет согласованности между мнениями экспертов. При 1 – согласованность полная.

Согласованность обычно считается достаточной, если дисперсионный коэффициент конкордации > 0,5.

Энтропийный коэффициент конкордации (коэффициент согласия) также изменяется от 0 до 1. чем больше его величина, тем больше мера согласованности. Когда мнения экспертов различаются незначительно, эти коэффициенты дают примерно одинаковую меру согласованности. Однако при существенных различиях величин и коэффициентов будут существенно различаться.

Таким образом совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов. Применение экспертных методов доказало свою эффективность при исследованиях и проектировании систем управления.

Причём наибольший эффект достигается при одновременном использовании нескольких методов.