Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

Предполагает использование мнений экспертов. Термин "эксперт" определяется в дословном переводе с латинского языка как "опытный". Данный метод следует применять в основном в тех случаях, когда невозможно использовать объективные методы исследований (например, метод эксперимента или тесно связанный с ним расчетный метод).

Методы, использующие мнения экспертов, получили название "Дельфи". Изначально данный метод предназначался для составления прогнозов в науке и технике и определения тенденций в развитии мира на основе последовательного неоднократного анкетирования индивидуальных суждений (оценок) экспертов. Затем он стал применяться в других областях, в том числе в управлении и исследовании СУ.

К основным положениям использования метода "Дельфи" следует отнести:

• - осуществление научно-обоснованного отбора экспертов, состав которых должен быть относительно стабильным и рациональным по численности;
• - составление четко сформулированных и однозначно воспринимаемых анкет, обеспечивающих принятие суждений оценок экспертами преимущественно в количественной форме;
• - обеспечение сбора мнений экспертов при опросе должно проводиться в несколько туров (количество туров должно быть достаточным для уточнения как вопросов, так и для получения объективных ответов после ознакомления с результатами опроса каждого тура), не проводя при этом прямых дискуссий и дебатов;
• - обоснование экспертами после каждого тура своих суждений, при расхождении их с мнением большинства;
• - проведение после каждого тура статистической обработки, анализа и обобщения результатов суждений экспертов;
• - продолжительность работы экспертов при участии их во всех турах, как правило, не должна превышать тридцати дней.

Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. При этом усредненная оценка мнений экспертов К в общем виде определяется по следующей формуле:

где N- количество экспертов; К- - оценка, данная;-м экспертом.

К разновидностям экспертных методов с определенной долей условности можно отнести органолептический и социологический.

Органолептический метод

Основан на использовании чувств (вкуса, слуха, зрения, обоняния, тактильности) эксперта. Этот метод применяется при измерении численных значений показателей, например, продукции пищевой промышленности.

Наиболее распространенными экспертными методами при классификации по способу получения экспертных оценок в настоящее время при принятии решений по управлению являются следующие:

• - метод рангов (ранжирования);
• - метод непосредственного оценивания (балльный);
• - метод сопоставлений.

Последний метод включает две его разновидности:

• - парного сравнения;
• - последовательного сопоставления.

В принципе, каждый из них имеет много общего, а отличие в основном только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в СУ, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

К недостаткам экспертных методов можно отнести их определенную субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в опросах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• - организацию экспертного оценивания;
• - проведение сбора мнений экспертов;
• - обработку результатов мнений экспертов.

Наиболее часто в практике исследования и проектирования социально-экономических систем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнения, но по времени сбор мнений при использовании этого вида более длительный. Обычно процесс разработки анкеты включает:

• - определение формы и содержания обращения к эксперту;
• - выбор типа вопросов;
• - формулировку вопросов;
• - изложение необходимой для эксперта информации;
• - разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали так называемые веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).

В общем случае экспертные работы должны осуществляться в соответствии с определенными правилами, которые следует использовать в зависимости от целей проведения этих работ. Среди таких правил необходимо отметить следующие:

• - применение системного подхода при проведении экспертных работ;
• - обеспечение преемственности в проведении экспертных работ;
• - использование обратной связи с экспертами;
• - регулярное привлечение к работе экспертов;
• - обеспечение рационального баланса гласности и конфиденциальности экспертных работ и результатов экспертизы;
• - создание условий для персонификации суждений экспертов;
• - обеспечение условий для соблюдения экспертами полной независимости при выражении своих суждений;
• - создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;
• - однократность проведения экспертизы.

В последнее время в различных сферах деятельности стали широко использовать метод тестирования. Первоначально в зарубежной практике с помощью тестов, т.е. комплекса определенных заданий стандартной формы, проводились испытания психического состояния, умственного развития, способностей, волевых и других свойств личности отдельного человека или социальной группы людей. В дальнейшем сфера использования метода тестирования стала более широкой и его начали применять для определения не только психофизических состояний и особенностей людей, но и при проведении исследований СУ, различного рода экспериментов. Особенно популярным тестирование стало в образовании. В управлении при помощи тестов исследуют, например, проблемы, связанные с определением квалификации и аттестации персонала, распределением функций управления и ресурсов, стиля управления и т.п.

В любом случае тест - искусственно созданное воздействие испытательного характера. Он может воздействовать на изучаемый элемент и/или СУ в целом в процессе проводимого эксперимента (в натурных или специально создаваемых имитируемых условиях). Как правило, вызывает ответную реакцию элемента и/или СУ в виде высказываний и других откликов на их выходе.

Натурное тестирование проводится в реальных условиях, а все остальные виды его - в специально созданных искусственных (имитируемых) условиях (например, деловые игры). Примерами натурного тестирования могут быть:

• - широкомасштабный эксперимент по созданию СУ на основе стандартизации, проводимый в 1980-е гг. в промышленности СССР, (такого рода эксперименты можно отнести к экстремальным, так как они являются высокорисковыми);
• - апробация опытных нормативов по труду на рабочих местах;
• - специально организованная дозированная утечка управленческой информации, позволяющей прозондировать ответную на нее реакцию, например, определенного слоя общества, и соответственно выявить его вектор, активность и т.п.

Для проведения работ по тестированию необходимо:

• - четко определять его цели, задачи, правила, условия, требуемые результаты, начало и конец, что следует отразить в соответствующем плане;
• - установить возможные последствия тестирования;
• - определить необходимый объем информации и методы ее сбора, обработки и использования;
• - разработать сценарии действий всех участников;
• - разработать методику проведения оценки результатов тестирования;
• - определить направления и варианты использования результатов.

Эффективным инструментом при исследовании СУ, как показывает опыт, оказывается метод структуризации, часто называемый методом "дерева" (метод "дерева" целей). Этот метод позволяет выявить количественные и качественные взаимосвязи и отношения между целями, увязать их разные уровни с конкретными средствами и сроками достижения.

Широко используются в исследовании СУ различные методы творческого характера типа творческих совещаний. Наиболее распространенными из них являются, в частности, следующие методы: творческого коллективного обсуждения; "мозговой" атаки; коллективного блокнота; морфологического анализа; анализа проблем; генерирования идей; деловой игры; контрольных вопросов 6-3-5.

Особенностью этих методов является то, что в ходе совещания запрещается их критика. Оценка идей, выдвинутых во время совещаний, проводится обычно не на совещании, а в ходе их экспертизы.

Помимо указанных методов в исследовании СУ могут использоваться деловые игры, конференции идей (где допускается критика в доброжелательной форме, идеи реализуются в рамках специально проводимой технологии их презентации), обмен мнениями, комиссии и др.

При использовании системного подхода к исследованию СУ предприятия с учетом его внутренней и внешней (оперативного и общего окружения) сред может широко применяться популярный и в определенной мере универсальный метод "SWOT-анализа" - (S - strength (сила), W - weakness (слабость), О - opportunity (возможность), Т- threat (угроза), т.е. метод ССВУ-анализа. По существу - это оперативный диагностический метод анализа стратегического положения предприятия на основе оценки его сильных и слабых сторон, возможностей и угроз ему. Условно данный метод можно отнести к разновидности экспертного.

С 1970 г. для целей анализа и определения стратегических позиций диверсифицированных организаций стала применяться матрица Бостонской консалтинговой группы (БКГ). Данная матрица строится на основе двух координат показателей - "темп роста объемов спроса в отрасли / относительная доля рынка". При использовании данной матрицы учитываются темпы роста отрасли, относительные доли рынка и эффект действия опыта и знаний на всех стадиях жизненного цикла продаж продукции, услуг. Темп роста объемов спроса в отрасли - это параметр внешней среды. Он показывает привлекательность рынка.

При развитии матрицы БКГ специалистами компании "Дженерал Электрик" и консультационной фирмой "МакКинзи" она была модифицирована и получила в 1979 г. их имя "Матрица "Дженерал Электрик" - "МакКинзи"" (ДЭМК). Она также предназначена для анализа привлекательности и позиции подразделения с определенным видом деятельности (продукцией, услугами) или предприятия на рынке в целом.

Экспертный метод оценки

Применение экспертного метода

Применение экспертного метода предполагает соблюдение следующих условий:

Экспертная оценка проводится только в случае, когда нельзя использовать для решения вопроса более объективные методы;

В работе экспертной комиссии не должно быть факторов, влияющих на искренность суждений экспертов, мнения экспертов должны быть независимы, вопросы, поставленные перед экспертами, не должны допускать различного толкования;

Эксперты должны быть компетентными в решаемых вопросах;

Количество экспертов должно быть оптимальным;

Ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Способы формирования экспертных групп следующие:

1 Способ назначения . Члены экспертной группы назначают ответственного лица (руководителя предприятия, главного и т. д.) по приказу которого проводят сертификацию. Решение выработанное экспертом группы будет являться достаточно авторитарным как для руководителя так и для других лиц, использующих результаты сертификации. Этот способ, когда на данном предприятии впервые проводят групповую экспертизу и организатору необходимо обезопасить результаты от возможной критики со стороны других лиц;

2 Способ взаимных рекомендаций . Вначале опрашивают 1 специалиста по рассматриваемой проблеме. При этом он называет других лиц, которые по его мнению должны войти в состав экспертной комиссии. Эти специалисты вновь должны назвать возможных экспертов, включая рекомендации (при этом соблюдается анонимность рекомендаций). Постепенно круг замыкается. Опыт показывает, что при использовании данного способа в группу попадают специалисты достаточно успешно работающие над данной проблемой, независимо от служебного положения. Этот способ удобен при анализе очень узких специальных проблем.

3 Способ последовательных рекомендаций . Круг специалистов по анализируемой проблеме (эксперт) должен указывать условия при которых проблема может быть решена а он лично может взять на себя ее решение. После этого как эти условия будут установлены, эксперт называет лица, которые могли бы обеспечить достижение указанных им промежуточных целей. В свою очередь эти лица выступающие в качестве экспертов во втором туре опроса, когда выясняют условия достижения промежуточных целей и определяет лиц, которые могут обеспечить достижение промежуточных целей второго уровня.

4 Документационный способ. Этот способ отбора экспертов по их объективным характеристикам. Стаж работы, должность, ученая степень и т. д. Применяется достаточно часто и целесообразно в тех случаях, когда необходимо выяснение мнений группы специалистов.

5 Способ тестирования. Экспертов отбирают из некоторой совокупности возможных экспертов по результатам выполнения ими сертификационных тестов. Данный способ целесообразно применять в тех случаях, когда в дальнейшем отобранным экспертам придется многократно решать однотипные и узкоспециализированные задачи.

Основные требования предъявляемые к эксперту: компетентность, деловитость, заинтересованность в участии экспертной комиссии и объективность.

Компетентность экспертов подразделяется на профессиональную и квалиметрическую.

Под профессиональной компетентностью подразумевают знания различных способов проектирования и производства продукции.

Под квалиметрической компетентностью подразумевают обеспечение немного понимания экспертов, принципов и методов оценки качества продукции. Она предполагает знания методов оценки качества продукции и практическое умение пользоваться ими и использовать разные типы оценочных шкал.

Под деловитостью эксперта подразумевают собранность, способность быстро переключаться с оценки одного на оценку другого, контактность, умение работать с людьми в конфликтных ситуациях, оперативность, обоснованность и мотивация.