Методы исследования метод экспертных оценок. Экспертный метод. Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Экспертно-аналитические методы исследования

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.

По вопросам : klubok@сайт

Экспертный метод исследования

Экспертно-аналитические методы исследования

Основными, входящими в группу экспертно-аналитических, являются следующие методы (табл. 3.3):

· экспертный;

· обследования;

· диагностический;

· графический.

Рассмотрим подробнее эти методы.

Экспертный метод оперируют с интуитивной информацией, преобразуемой воображением и это в наибольшей мере подходит к ИСУ, поскольку в этой области знаний преобладают в основном качественные критерии оценки эффективности. Этот метод исследования должна быть применен при всœех типах менеджмента. Существует несколько модификаций метода, но чаще всœего используется метод Дельфи. Структуризация экспертного метода исследования (базовых категорий) приведена на рис. 4.2.

Рис. 4.2. Структуризация экспертного метода исследования (основные категории)

Наиболее значимой областью применения метода экспертного исследования представляется возможным назвать область корректности разграничения сфер ведения (секторов ответственности или функций) между управленцами и подразделœениями по горизонтали. Особенно важными в данном плане являются знания принципов разработки анкет, использование скрытых, косвенных вопросов и т.д.

Прогнозные экспертные оценки отражают индивидуальность суждения специалистов относительно перспектив развития объекта исследования и основаны на мобилизации профессионального опыта и интуиции (Мескон, 1993).

Условия применения интуитивного (экспертного) метода исследования:

1) отсутствие достаточно представительной и достоверной статистики по характеристикам объекта;

2) неопределœенность состояния внешней среды;

3) средне- и долгосрочное прогнозирование новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках (к примеру микробиологическая промышленность, квантовая электроника и др.);

4) дефицит времени или средств, выделœенных на исследования и принятие решений, отсутствие возможностей применения в этой связи других подходящих методов;

5) форс-мажорные ситуации.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Требования к эксперту включают следующие положения :

1) высокий уровень общей эрудиции;

2) оценки эксперта должны быть стабильны во времени и транзитивны;

3) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта;

4) эксперт должен иметь определœенный практический и (или) исследовательский опыт и быть признанным специалистом в данной области знаний;

5) эксперт должен иметь психологическую установку на будущее;

6) он должен быть способен к адекватному отображению тенденций развития исследуемого объекта;

7) эксперт не должен быть заинтересован в конкретном результате исследования.

Характеризуя экспертов, следует иметь в виду, что в результате вы­работки оценок могут иметь место ошибки двух видов :

1) систематические,

2) случайные.

Для коррекции систематических ошибок можно применять попра­вочные коэффициенты или же использовать специально разработанные тренировочные игры. Случайные ошибки изменяются от одной эксперт­ной оценки к другой и характеризуются величиной дисперсии. В прак­тике исследования оценить их весьма сложно.

Средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта должна быть программированной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответы на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме) (Саркисян, 1977).

Организация и стимуляция работы эксперта состоит в разработке эвристических приемов и способов, облегчающих поиск экспертной оценки, правовых норм, гарантирующих эксперту оформление приоритета в авторстве. Важным является неразглашение всœех научно-техни­ческих идей, выдвигаемых экспертом в процессе работы, форм моральной, профессиональной и материальной заинтересованности эксперта в экспертных оценках, организационных форм работы эксперта (включение в план работы и т.п.) (Мескон, 1993).

При решении задачи формирования экспертной группы крайне важно выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети состоит в следующем (Добров, 1969). На базе анализа литературы по исследуемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Далее обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных из коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу.

Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, ᴛ.ᴇ. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области исследования проблемы. При этом в силу ряда практических ограничений оказывается нецелœесообразным привлекать всœех специалистов к экспертизе. По этой причине крайне важно сформировать репрезентативную выборку из генеральной совокупности экспертов (Бестужев-Лада, 1982). Этот вопрос решается в рамках каждого конкретного метода.

В целях минимизации расходов на исследования стремятся при­влекать минимальное число экспертов N min при условии обеспечения ошибки результата исследования не более b, где 0

N min = 0,5(3/b + 5). (4.1)

При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более чем на b.

Анкета для опроса специалистов является важнейшим инструментом экспертного прогнозирования. Подготовка и проведение экспертизы включает разработку анкет, содержащих набор вопросов по объекту исследования. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта исследования и его методикой. Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, система вопросов в анкете должна отвечать следующим требованиям (Глущенко, 1997).

1) формулирование в общепринятых терминах;

2) исключение всякой смысловой неопределœенности;

3) нацелœенность на обеспечение достижения целœей исследования;

4) соответствие структуре объекта исследования;

5) обеспечение единого и однозначного толкования результатов анкетирования.

По форме вопросы анкеты бывают:

· открытыми и закрытыми;

· прямыми и косвенными.

Наиболее часто применяется метод интервью и аналитических экспертных оценок.

Метод интервью предполагает беседу с экспертом, в ходе которой исследователь в соответствии с заранее разработанной программой ста­вит перед экспертом вопросы относительно перспектив развития иссле­дуемого объекта. Успех такой оценки в значительной степени зависит от психологической способности эксперта экспромтом давать заключения по различным, в т.ч. фундаментальным, вопросам (Саркисян, 1969). Известным недостатком этого метода является значительное пси­хологическое давление на эксперта.

Методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования.

В корне применения этих методов лежит гипотеза о наличии у экспертов умения с достаточной степенью достоверности оценить важность и значение исследуемой проблемы. Существует большое число модификаций методов коллективных экспертных оценок, среди которых наиболее популярны следующие методы:

· круглого стола;

· ʼʼДельфиʼʼ;

· программного прогнозирования;

· эвристического прогнозирования;

· коллективная генерация идей.

Сбор и обработка индивидуальных мнений экспертов производится исходя из следующих принципов (Глущенко, 1997):

1) вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

2) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы всœе более уточняются;

3) всœе опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;

4) эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;

5) статистическая обработка ответов производится последовательно от труда к труду с целью получения обобщающих характеристик.

Τᴀᴋᴎᴍ ᴏϬᴩᴀᴈᴏᴍ, выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им вместе с тем периодически взвешивать свои суждения с учетом ответов и доводов коллеᴦ. Пересмотр и возможность изменения своих прежних оценок на базе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

Метод экспертных оценок ʼʼДельфиʼʼ был разработан американ­ским исследователœем О. Хелмером для решения сложных стратегических проблем с целью получить более широкие источники чрезвычайно дефи­цитной информации о будущем, предельно устранить субъективный фак­тор в суждениях и оценках будущего, стимулировать способы мышления специалистов путем создания специальной информационной системы с обратными связями, устранить помехи в обмене информацией между спе­циалистами, давление авторитета и другие формы давления, обеспечить повышение достоверности прогнозов путем специальных процедур коли­чественной оценки мнений экспертов и их машинной обработки.

В отличие от метода сценариев метод ʼʼДельфиʼʼ предполагает предварительное ознакомление привлекаемых экспертов с ситуацией с помощью какой-либо модели: такой моделью должна быть как строгая математическая модель, к примеру эконометрическая модель развития экономики, так и неформальное описание процесса, к примеру сценарий. В системном анализе основной формой модели, которая подлежит усовершенствованию и насыщению информацией с помощью экспертных оценок, является, как правило, дерево целœей.

Специалистом предлагается оценить структуру модели в целом и дать предложения о включении в нее неучтенных связей. При этом используется анкетный метод с унифицированными формами вопросов, ответов и оценок. Результаты каждого этапа опроса и систематизации его результатов доводятся вновь до сведения всœех экспертов, что позволяет им далее корректировать свои суждения на базе вновь полученной информации. Полученная информация далее сопоставляется и анализируется на базе использования данных экспертами количественных оценок.

Существует целый ряд процедур усреднения и объективизации мнений экспертов, а также ряд процедур оценки авторитетности и удельного веса мнений самих экспертов, к примеру их взаимной оценки компетентности в какой-либо области. В тех случаях, когда отсутствуют объек­тивные данные, что относится в особенности к информации о будущем, метод ʼʼДельфиʼʼ представляется самым надежным средством получения многосторонних и в то же время достаточно надежных данных. В ИСУ метод ʼʼДельфиʼʼ используется на этапе VI (табл. 3.1) для оценки совре­менного состояния тех факторов, которые не поддаются непосредствен­ной количественной оценке (к примеру, оценке современных социальных факторов, влияющих на формирование целœей), на этапе VII в оценке одного из важнейших методов получения и обработки прогнозной инфор­мации.

Морфологический анализ - ϶ᴛᴏ средство изучения всœевозможных комбинаций вариантов организационных решений, к примеру, предлагаемых для осуществления отдельных функций управления. В случае если записать столбиком всœе функции, а затем против каждой функции построчно указать всœевозможные варианты ее выполнения, то получим морфологическую матрицу (табл. 4.1). Идея этого метода состоит по сути в том, чтобы сложную задачу разбить на мелкие подзадачи, которые легче решать по отдельности. А функции - ϶ᴛᴏ не что иное, как совокупность задач, работ и процедур.

Таблица 4.1

Морфологическая матрица способов выполнения функций управления

Условные обозначения:

F – функция;

n – порядковый номер функции;

P – способ реализации функции;

k – порядковый номер способа реализации функции.

Наиболее известными разновидностями метода являются:

метод систематического покрытия поля (МСПП);

метод отрицания и конструирования (МОК);

метод морфологического ящика (ММЯ) и др.

Социологические исследования широко используются в практике исследования проблем в информационно-поведенческой и структурно-функциональной подсистемах, связанных со специалистами и руково­дителями, в выборе направления действий, повышении сопричастнос­ти к делам организации, заинтересованности в выполнении планов и т.д. К примеру, можно узнать, нет ли нераспределœенных между под­разделœениями, руководителями или специалистами функций, задач, работ и процедур.

Социологические исследования проводятся посредством сбора и обработки информации о потребностях и интересах специалистов орга­низации, о характере межличностных, межгрупповых взаимоотноше­ний, о типе организационной культуры, сложившемся под воздействием современного состава кадров в организации, и других факторов. В этих целях используют:

· интервью;

· анкетные опросы;

· наблюдения и самонаблюдения;

· изучение документов;

· изучение факторов группового поведения и др.

Полученные в ходе исследования результаты позволяют сформули­ровать меры и действия, позволяющие повысить эффективность функ­ционирования ИПП, СФП и их элементов.

Метод сценариев является средством первичного упорядочения проблемы и средством получения и сбора информации о взаимосвязях проблемы с другими проблемами и о возможных и вероятных направлениях будущего развития. Метод назван по аналогии с хорошо известной и тщательно отработанной технологией написания сценариев. Базируется на итеративной последовательности построения сценариев с целью выбора подходящей альтернативы управления (рис. 4.3).

Принципы , лежащие в базе метода сценариев:

· последовательного разрешения неопределœенности (итеративный процесс);

· исследования сценариев в развитии.

Цель метода – получение научно обоснованного прогноза для принятия управленческих решений.

Сценарий - ϶ᴛᴏ гипотетическая картина последовательного развития во времени и пространстве событий, составляющих эволюцию объектов управления.

Рис. 4.3. Логика метода сценариев

При построении сценариев оперируют следующими понятиями:

1) внутренние и внешние факторы:

· внутренние факторы – внутренняя структура системы, взаимосвязь между ее элементами, закономерности ее развития;

· внешние факторы – взаимодействие системы с системой более широкого класса (макро- и микросредой).

2) сценарные параметры - ϶ᴛᴏ непредсказуемые факторы, влияющие на систему;

3) ограничение (каждая система находится в рамках, ограничивающих ее состояние – эквифинальность):

· естественное (обусловленные природной средой, в которой находится система, к примеру климатические условия и т.д.);

· нормативное (связанные с правовой средой и всœевозможными нормами поведения – культура, обычаи, традиции, мораль, религия, нравственность).

4) индикатор сценария – критичный к предельным состояниям объекта управления параметр.
Размещено на реф.рф
Это параметр, который ограничивает состояние системы по каким-то определœенным направлениям (какой порог нельзя переходить, чтобы не вызвать разрушение системы);

5) процедура сценарного метода – определœение гарантированного прогноза, ᴛ.ᴇ. границ, за которые развитие системы выйти не может по объективным причинам.

Сценарии могут использоваться на самых различных этапах ИСУ, когда требуется собрать и упорядочить весьма разнородную и не структуризованную информацию. Но главной областью применения этого инструмента являются этап 1 системного анализа – анализ проблемы и этап VII – прогноз и анализ будущих условий (табл. 3.1).

Экспертный метод исследования - понятие и виды. Классификация и особенности категории "Экспертный метод исследования" 2017, 2018.

Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах.

Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов.

Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода – формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:

– компетентность (степень квалификации в определенной области знаний);

– креативность (способность решать творческие задачи);

– аналитичность и широта мышления;

– конструктивность (способность формировать конкретные предложения);

– самокритичность эксперта;

Отношение к экспертизе.

Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.

Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.

Документационный способ – отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).

Способ назначения – определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода – проведение экспертизы.

Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.

При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.

Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение.

Достоинство дельфийского метода – он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.

3-й этап экспертных методов – обработка результатов опроса.

Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).

Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка – для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов – для отображения величины различий между свойствами объектов. Шкала отношений – для отражения отношения свойств объектов, например, их весомости. Шкала разностей – при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.

Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - это специалист, компетентный в решении конкретной задачи (от латинского слова expertus - опытный). Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.

Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. - это решения, принимаемые экспертными методами. При использовании экспертного метода важны следующие факторы: компетентность экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых кроме нижнего и верхнего имеется средний (удовлетворительный) уровень.

Экспертный метод может использоваться при формировании общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертного метода следующие:

оценка нормативных документов на продукцию;

обобщенная оценка качества продукции;

классификация оцениваемых товаров;

определение номенклатуры показателей качества оцениваемой продукции;

определение коэффициентов весомости показателей качества:

выбор базовых образцов и определение значений базовых показателей качества;

измерение и оценка показателей качества с помощью органов чувств (органолептически);

оценка единичных показателей, значения которых определены измерительным или расчетным методами;

идентификация продукции;

определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);

оценка конкурентоспособности продукции;

сертификация продукции.

Экспертный метод не используется, если качество можно оценить другими методами с большей точностью или с меньшими затратами.

Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов. Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание:

истории развития оцениваемой продукции, изменение ее свойств и показателей качества;

условий проектирования (конструирования) и производства (переработки) продукции;

значений показателей качества отечественных и зарубежных аналогов;

перспектив развития продукции, отраженных в научно-исследовательских работах, патентах, конструкторских разработках;

требований потребителей, условий и характера потребления (эксплуатации) и утилизации.

Квалиметрическая компетентность предусматривает четкое понимание подхода к оценке качества товаров, методов оценки качества, вопросов построения и применения оценочных шкал, определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.

Квалификация эксперта определяется не только знанием предмета обсуждения, но и умением высказывать четкие, однозначные суждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и т.д., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.

При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и организации, в которой формируется группа, но в группе должно быть не менее 7-12 чел. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15 - 20 экспертов.

Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.

В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.

При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества, при этом желательно начинать оценку с уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.

При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:

признак, по которому любой комплексный показатель делится на п показателей ниже расположенного уровня (классификационный признак), должен быть единым для всех п показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);

определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;

если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;

число показателей качества, входящих в однородные группы: на одном уровне номенклатуры показателей качества, не должны резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на первом уровне расположено три показателя (S = 1, 2, 3), на втором уровне каждый из них состоит из некоторого числа показателей - соответственно q , I, р. Желательно, чтобы выполнялось условие q I р или чтобы эти числа были достаточно близкими.

Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.

Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.

После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:

в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);

в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);

следует вычеркнуть показатели, которые можно считать маловажными и одновременно дополнить номенклатуру показателями, достаточно важными;

номенклатура показателей качества составлена правильно.

Мотивы своих действий эксперт записывает на отдельном листе, приложенном к номенклатуре, или излагает техническому работнику, который заполняет этот лист.

После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.

Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, ранг 2 - следующему по важности и т.д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не выполнять.

Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10... 15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.

Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.

На сборе экспертной группы проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты фиксируют в документах значения коэффициента весомости показателя качества и переходят к обсуждению следующего показателя.

По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.

Значения коэффициентов вариации определяются: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т.д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V < 0,10 - согласованность высокая; V= 0,11 ...0,15 - согласованность выше средней; V=0,16...0,25 - согласованность средняя; V= 0,26...0,35 - согласованность ниже средней; V > 0,35 - согласованность низкая.

Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективными и объективными. К субъективным относятся: недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибки экспертов и т.д.

Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.

Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшился (или улучшился незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.

Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов, выявить истинное мнение каждого эксперта, не стремиться сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой «неблагополучия» во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.

Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение ряда этапов:

На первом подготовительном этапе осуществляется формирование экспертных групп

на выбранных уровнях управления и подготавливается вся документация, необходимая для проведения экспертизы целей.

Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.

Компетентность эксперта - это степень его квалификации в определенной области знаний. Компетентность может быть определена на основе опыта эксперта в данной области его квалификации, степенью знакомства с научными достижениями в исследуемой области и т.д. Одна из наиболее важных указанных характеристик, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

Креативность эксперта-способность решать творческие задачи.

Отношение к экспертизе является важной характеристикой эксперта, определяющей его желание (активность или пассивность) участия в экспертизе.

Самокритичность эксперта - самооценка своей компетентности.

Аналитичность, широта мышления, конструктивность мышления - свойство коллективизма - также важные характеристики эксперта.

Даже неполные определения характеристик экспертов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны.

Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

На втором организационном этапе осуществляется отработка результатов экспертизы.

На этом этапе выполняются все необходимые расчеты для сопоставления качественных целей на каждом уровне управления с целями, выбранными, по мнению экспертов, с точки зрения их количества и важности (приоритетности).

Процесс обсуждения выбранных целей происходит до тех пор, пока не совпадут мнения большинства экспертов.

Сформулируем требования, которым должна удовлетворять методика оценки целей функционирования с помощью экспертов:

· Оценка целей функционирования должна проводиться в благоприятной психологической обстановке.

· Трудоемкость опроса должна быть в допустимых пределах.

· Экспертная документация не должна допускать двоякого понимания вопросов.

· Экспертная документация должна быть, по возможности, однородной и полной.

· Выбранная система шкал экспертной оценки должна быть обоснована и доведена до сведения эксперта.

· Цели проведения экспертизы должны быть известны всем экспертам. Наиболее приемлемым с практической точки зрения является анкетирование.