Метод, получивший название древнегреческого города, прославивше­гося своими предсказателями будущего, разработан в начале 1950-х гг. в известном «мозговом центре» США - корпорации «Рэнд». Авторами его являются американские ученые О.

Хелмер и Т. Гордон. Как и мно­гие разработки в области политического анализа и прогнозирования, применение метода Дельфи изначально было ограничено проблемати­кой военно-промышленного и военно-дипломатического характера.

Возникновение Дельфи связано с объективно назревшей потреб­ностью усовершенствовать методики группового принятия решений. До появления Дельфи наиболее распространенным способом согла­сования различных позиций и выработки общего мнения было тради­ционное совещание (очная дискуссия). Однако такой метод обладает рядом очень серьезных недостатков, большинство из которых связано с негативными психологическими эффектами межличностного обще­ния, к которым можно отнести:

Групповое давление. Этот феномен изучен в социальной психоло­гии (конкретнее, психологии малых групп) и заключается в том, что большинство в группе стремится навязать свою позицию меньшинст­ву. Меньшинство же, как правило, склонно проявлять конформизм - принимать групповое мнение, а не отстаивать свою точку зрения (да­же если у представителей меньшинства сохраняется субъективная уверенность в ее правильности). Таким образом, результатом дискус­сии может стать победа мнения большинства только потому, что это мнение большинства;

Личностные различия членов группы, определяющие способность активно отстаивать свою точку зрения и навязывать ее другим. В оч­ной дискуссии «конкурентное преимущество», как правило, нахо­дится на стороне более активных, напористых, лучше владеющих словом и даром убеждения участников. При этом совсем не обяза­тельно наличие у человека этих качеств свидетельствует о его более глубоком понимании обсуждаемой проблемы. Таким образом, мо­жет возобладать мнение не самых компетентных, а самых «убеди­тельных» экспертов;

Различный формальный или неформальный статус участников обсуждения. Практически в любой группе можно выделить более авторитетных и «заслуженных» экспертов, к чьему мнению будут при­слушиваться в большей степени. Так, мнение академика будет «весить» больше, чем мнение аспиранта, при этом аспирант может углубленно изучать именно поставленную проблему, а академик - иметь лишь поверхностное представление о ней. В группах, где име­ется определенная иерархия (например, на совещаниях в военных ведомствах, структурах государственной службы и т.д.), весомость точки зрения начальников будет выше, чем точки зрения подчиненных (которые к тому же вряд ли будут свои точки зрения активно от­стаивать);

Психологическую сложность для многих участников экспертизы из­менить уже высказанную точку зрения, даже если они осознали ее недостатки. Для многих людей, особенно «заслуженных» и «авторитетных», бывает трудно взять свои слова обратно, признать ошибку, осо­бенно если признание ошибки «работает» на укрепление позиции, например, давнего оппонента. Поэтому высоки риски того, что экс­перт будет отстаивать свою точку зрения, даже убедившись в ее несостоятельности;

Неконкретностъ, расплывчатость итоговых оценок, выводов и за­ключений, присущая многим традиционным совещаниям.

Именно эти проблемы способна устранить процедура, используе­мая в методе Дельфи. Она базируется на следующих основных прин­ципах:

Заочный характер взаимодействия экспертов. Специфика Дельфи состоит в том, что каждый эксперт работает индивидуально, однако общая оценка является коллективной (групповой). Данный принцип направлен на устранение феномена группового давления и эффектов разницы в «публичной активности» и напористости экспертов;

Анонимность мнений экспертов. Каждому участнику экспертизы предоставляется полная свобода донести свою позицию и аргумента­цию до всей группы, однако никто не будет знать, чья именно это по­зиция. Данный принцип направлен на ликвидацию «эффекта автори­тетного мнения»;

Итеративность (повторяемость) экспертизы. Процедура форми­рования групповой экспертной оценки в методе Дельфи проходит в несколько этапов, причем каждый из экспертов на каждом этапе мо­жет скорректировать собственную предыдущую оценку. В Дельфи это делается психологически безболезненно, учитывая заочный и ано­нимный характер процедуры;

Управляемая обратная связь. Эксперты могут обмениваться оцен­ками и аргументацией, но делают это не напрямую, а через организаторов экспертизы, которые осуществляют обратную связь между экс­пертами, систематизируют оценки и аргументы;

Количественное оценивание и статистическая обработка эксперт­ных оценок. Эксперты ограничены в формулировании оценок их чис­ловым форматом. Это требуется для того, чтобы сделать результаты экспертизы максимально конкретными.

Рассмотрим, каким образом названные выше принципы находят свое выражение в процедуре метода Дельфи.

На этапе подготовки экспертизы определяется состав ее организаторов, которые на предварительной стадии должны сформулировать изучаемую проблему таким образом, чтобы с ней можно было работать в рамках Дельфи. Другими словами, проблема должна быть представлена в виде набора конкретных вопросов к экспертам, в качестве ответа на каждый из которых можно было бы получить числовую оценку. К примеру, экспертов некорректно спросить: «Состоится ли отставка правительства до истечения конституционного срока его полномочий?» Правильно сформулировать вопрос можно двумя спо­собами:

Когда состоится отставка правительства? (Крайний срок - дата следующих президентских выборов.)

Какова вероятность досрочной отставки правительства? (При этом четко указывается, какой временной период понимается под досрочной отставкой.)

Все вопросы должны быть сформулированы таким образом, чтобы ответы на них можно было дать в рамках порядковой или интервальной шкалы. Исключение составляет лишь иногда применяемый «бес­структурный этап», о котором мы поговорим отдельно.

Разумеется, такое ограничение несколько сужает возможности применения Дельфи. Тем не менее остается очень широкий спектр признаков, которые можно измерятв с его помощью. Например, для политической партии это:

Уровень поддержки на выборах (в процентах или голосах - интервальной уровень);

Влиятельность (порядковый уровень);

Сроки вхождения в альянс с другой политической партией (вре­мя - интервальный уровень);

Уровень поддержки со стороны тех или иных политических групп (порядковый уровень);

Уровень лояльности действующему главе государства (порядко­вый уровень);

Уровень выраженности в идеологии определенных позиций (ска­жем, насколько партия привержена либеральным ценностям - порядковый уровенв);

Стоимости реализации партией той или иной агитационной кам­пании (интервальный уровень) и т.д.

Метод Дельфи бывает очень полезен и для достижения сугубо исследовательских целей, например при конструировании сложного инструмента измерения определенного признака. К примеру, конст­руируя индекс политической влиятельности губернатора, мы введем в него подиндексы «поддержка главы государства», «поддержка со сто­роны населения региона», «лоббистские возможности» и ряд других. Каждый из этих подиндексов поддается прямому измерению. Но как понять, какой из них имеет больший вес при расчете итогового ин­декса влиятельности? Непосредственному измерению вес каждой из составляющих индекса, как правило, поддаваться не будет. И здесь нам на помощь приходят экспертные оценки, в первую очередь метод Дельфи. «Взвешивание» компонентов индекса - одна из задач, которые оптимально решать именно с помощью Дельфи.

Итак, проблема должна быть сформулирована как перечень во­просов, предполагающих ответ в виде оценки по порядковой или ин­тервальной шкале. Следующая важная задача организаторов экспер­тизы на подготовительном этапе - сформировать состав экспертной группы, т.е. определить ее численность и персональный состав.

Специфика метода Дельфи, связанная со статистической обработ­кой оценок и заочным характером взаимодействия экспертов, имеет прямое влияние на комплектование экспертной группы с точки зрения ее численности. Прежде всего, количество оценок (а значит, и количе­ство экспертов) должно быть статистически значимым. Мы не можем привлечь к процедуре Дельфи только трех экспертов, так как не смо­жем обработать их оценки. Соответственно, нижняя граница числен­ности экспертной группы - 7-9 человек. В то же время у нас не зада­на верхняя граница, так как нет необходимости собирать экспертов в одном месте. В реальной практике использования Дельфи есть приме­ры, когда в экспертизе участвовало несколько сотен специалистов. Конкретное их число будет определяться спецификой рассматривае­мой проблемы, общим числом компетентных экспертов, их техничес­кой доступностью и согласием на участие в экспертизе.

Также на подготовительном этапе определяется технический канал коммуникации с экспертами. На заре развития метода это была обыч­ная почта, в настоящее время - в основном электронная почта и фак­симильная связь.

Подготовив анкету и определив состав экспертов, можно присту­пать к проведению первого тура экспертизы. Возьмем задачу прогнозного типа. Предположим, нас интересует вероятность реали­зации определенного политического события, и единственным во­просом в анкете будет: «Оцените вероятность наступления события TV в период М, используя оценки в интервале от 0 до 1, где 0 - полная уверенность в том, что событие не произойдет, 1 - полная уверен­ность в том, что событие произойдет». Разумеется, в реальном иссле­довании вопросов и пояснений к ним было бы больше, однако в учеб­ных целях ограничимся самым простым видом анкеты.

Скажем, вопросе принимают участие девять экспертов. Соответст­венно, по итогам первого тура мы получим девять оценок вероятности реализации события N. Таким образом, мы имеем неупорядоченный числовой ряд из девяти элементов: (1; 0,2; 0,1; 0,1; 0,6; 0,8; 0,3; 0,5; 0,8).
В методе Дельфи основу статистической обработки оценок состав­ляет вычисление средней и вариации на порядковом уровне измере­ния, т.е. речь идет о вычислении медианы - середины ранжирован­ного числового ряда - и квартилей - четвертей ранжированного числового ряда. Ранжированный по возрастанию ряд в нашем случае будет иметь вид: (0,1; 0,1; 0,2; 0,3; 0,5; 0,6; 0,8; 0,8; 1).

Медиана равна 0,5, значение нижнего квартиля составляет 0,2; верхнего - 0,8 (М= Q2 = 0,5; Q1 = 0,2; Q3 = 0,8).

Применительно к методу Дельфи медиана показывает общее груп­повое мнение, а интервал между верхним и нижним квартилями (или квартальный ранг) - разброс мнений экспертов, или степень консолидированности обще: оценка группы составляет 0,5 (равновероятно), интервал между верх­ним и нижним квартилями равен 0,8 - 0,2 = 0,6, т.е. является очень большим. Исходя из такого значения квартильного ранга, можно кон­статировать, что мнение группы фактически не сформировалось, оценки очень сильно разбросаны.

Для вероятностных оценок есть дополнительный инструмент ин­терпретации общего группового мнения, выраженного в значении медианы. В теории вероятностей существует понятие неопределенно­сти, причем уровень неопределенности связан с уровнем вероятности следующим принципиальным образом:

Уровень неопределенности равен нулю в двух случаях: если веро­ятность события равна 0 и 1. Иными словами, неопределенность от­сутствует, когда мы полностью уверены либо в том, что событие реа­лизуется, либо в том, что оно не реализуется. Соответственно, максимального уровня неопределенность достигает в ситуации рав­новероятности - 0,5. По мере удаления от крайних значений (0 и 1) и приближения к значению 0,5 неопределенность возрастает.
Таким образом, по итогам первого тура экспертизы мы имеем не только большой разброс оценок, но и ситуацию максимальной неопределенности относительно наступления данного события в указанные сроки. Решение, которое принимается руководителями экспертизы, в данном случае однозначно: экспертиза должна быть продолжена.

Во втором туре экспертов знакомят с обобщенными результа­тами первого тура (разброс оценок, иногда средняя) и просят ответить на тот же самый вопрос о вероятности наступления события.

Однако здесь возникает существенное дополнение: оценка должна быть до­полнена определенным набором аргументов. Технически здесь имеет­ся два варианта:

1. Аргументировать выставленную оценку просят всех экспертов.

2. Аргументацию просят только утех экспертов, чьи оценки выхо­дят за интервал между квартилями, т.е. являются крайними. В нашем случае это два эксперта, поставившие оценки 0 и 1, и один эксперт, поставивший оценку 1.

Второй вариант оптимален в случае, если к экспертизе привлекается сравнительно большое число экспертов и оценки существенной их час­ти оказываются вне интервала между квартилями. Тогда мы получим полноценный набор аргументов, с одной стороны, в пользу высокой, с другой - в пользу низкой вероятности реализации события. Получать аргументы тех экспертов, чьи оценки оказались внутри интервала, в та­кой ситуации большого смысла нет: их аргументация, скорее всего, будет комбинацией аргументов «крайних» экспертов.

Однако в нашем случае, когда число привлеченных экспертов не­велико и оценки всего трех из них находятся за пределами кварталь­ного ранга, целесообразно собрать аргументы всех экспертов. Аргу­менты формулируются экспертами в том же режиме, что и весь процесс экспертизы: заочно, анонимно и индивидуально. Собирает, обобщает и систематизирует аргументы группа организаторов проце­дуры Дельфи. Основное содержание этой работы: объединение сход­ных аргументов, удаление повторяющихся, разбиение всех аргумен­тов на две группы: в пользу повышения или понижения вероятности наступления события N.

В результате второго тура имеем:

Новые оценки экспертов. Они могут совпадать с оценками пер­вого тура, а могут и не совпадать. Как правило, от первого тура ко вто­рому оценки меняются незначительно, поскольку эксперты еще не успели ознакомиться с аргументацией своих коллег. Пусть в нашем случае получились следующие оценки: (0,1; 0,2; 0,2; 0,3; 0,6; 0,7; 0,8; 0,8; 0,9). Тогда статистика второго тура: М= 0,6; Q1 = 0,2; Q3 = 0,8; квартальный ранг = 0,6;

Два систематизированных перечня аргументов: в пользу повыше­ния и понижения оценки вероятности наступления события. Автор­ство аргументов не указывается.

Все полученные результаты доводятся до участников экспертизы (характерное проявление управляемой обратной связи), и начинается третий тур Дельфи. В третьем туре, как и во втором, от экспертов требуется вновь оценить вероятность события и дать перечень аргу­ментов. В пояснительной записке к анкете, как правило, указывает­ся, что от экспертов ждут либо новых аргументов, либо усиления, до­полнения или конкретизации аргументов, использованных во втором туре.

Обычно именно третий тур экспертизы по методу Дельфи являет­ся переломным: получив значительный объем информации от своих коллег по итогам второго тура, эксперты имеют больше оснований скорректировать собственные оценки. Общий «сдвиг» в результатах экспертизы должен быть значительно более существенным по сравне­нию со вторым туром.

Предположим, оценки третьего тура таковы: (0,1; 0,3; 0,5; 0,5; 0,7; 0,7; 0,8; 0,9; 0,9).

Статистика третьего тура соответственно: М= 0,7; Q1 = 0,5; Q3 = 0,8; квартальный ранг = 0,3.

Анализируя эту статистику, мы видим две принципиальные тен­денции:

Общее мнение группы сдвигается от равновероятной оценке в сторону повышения вероятности реализации события (0,7). При этом в оценке реализации события сокращается уровень неопреде­ленности;

Мнение группы становится более консолидированным. Интервал между квартилями по сравнению со вторым туром существенно со­кращается (0,6 и 0,3).

Итерации (новые туры) проводятся в Дельфи по тому же прин­ципу, что второй и первый тур. Решение об окончании экспертизы принимается тогда, когда смещения в оценках перестают быть сущест­венными. Так, если в четвертом туре мы имеем оценки: (0,1; 0,5; 0,6; 0,6; 0,7; 0,7; 0,8; 0,8; 0,8) и статистику: М = 0,7; Q1 = 0,6; Q2 = 0,8; квар­тальный ранг = 0,2, - можно констатировать, что групповое мнение сформировалось. Смещение оценок по сравнению с третьим туром незначительно, общее групповое мнение не изменилось, интервал между квартилями незначителен. Таким образом, эксперты в целом согласились, что вероятность наступления события N в указанные сроки составляет 0,7; его реализация «скорее вероятна».

Динамику развития экспертизы в методе Дельфи полезно пред­ставить визуально. На рисунке ниже хорошо видны «траектории» оценок экспертов, формирование более консолидированного мне­ния и общий сдвиг в сторону медианы 0,7. Хорошо видна также «изо­лированная позиция»: один из экспертов ни разу не изменил свою оценку (0,1), несмотря на ее сильное расхождение с общегрупповым мнением.

Экс­	Турі	Тур 2	ТурЗ	Тур 4
1	0,1	од	0,1	0,1
2	0,1	0,2	0,3	0,5
3	0,2	0,2	0,5	0,6
4	0,3	0,3	0,5	0,6
5	0,5	0,6	0,7	0,7
6	0,6	0,7	0,7	0,7
7	0,8	0,8	0,8	0,8
8	0,8	0,8	0,9	0,8
9	1	0,9	0,9	0,8

Возможны ситуации, когда сближение оценок либо не происходит, либо происходит на крайних полюсах. Такой случай можно увидеть в таблице и на рисунке ниже.

	Тур 1 Тур 2 Тур 3 Тур 4 0,1 0,1 0,1 0,1 0,2 0,1 0,1 0,1 0,3 0,3 0,2 0,1 0,4 0,3 0,2 0,2 0,5 0,5 0,5 0,5 0,6 0,7 0,8 0,9 0,7 0,8 0,8 0,9 0,8 0,8 0,9 1 1 1 1 1
			Тур 1 Тур 2 Тур 3 Тур 4 Q1 0,3 0,3 0,2 0,1 м 0,5 0,5 0,5 0,5 Q3 0,7 0,8 0,8 0,9

id="Рисунок 29" src="/files/uch_group28/uch_pgroup17/uch_uch327/image/46.jpg">

Метод «Дельфи» один из основных в проведении групповых экспертиз и имеет различные модификации Фактически это группа процедур, объединенных общими требованиями к организации экспертизы и форме получения экспертных оценок. В нем предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии, что достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы - с другой Метод разработан и применен в США впервые в 1964 г. сотрудниками научно- исследовательской корпорации «РЭНД» О. Хелмером и Т. Гордоном

Название метода связывают с наиболее известным в Древней Греции местом религиозных пророчеств, которое находилось в городе Дельфы при храме Аполлона

Метод «Дельфи» целесообразно применять в таких случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы, в распоряжении нет нужных данных; нет достаточного времени для сбора данных, процесс получения и анализа необходимых данных слишком дорог.

Метод «Дельфи» предусматривает создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения - с другой. Еще одно важное свойство - обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют нервоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.

На первом туре экспертам сообщается цель экспертизы и формируются вопросы, ответы на которые составляют основное содержание экспертизы Вопросы предъявляются каждому эксперту персонально в вида анкеты, иногда сопровождаемой пояснительной запиской. Если предъ* являемые экспертам вопросы достаточно сложны, целесообразна прсдван рительная разработка приближенной модели исследуемой системы, что-| бы правильно ориентировать эксперта, конкретизировать цели и предмет экспертной процедуры, показать характер возможных ответов. |

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших крайние точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% числовых значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т е. согласованность точек зрения экспертов Вводятся следующие обозначения.

/0 - значение наиболее ранней оценки,

/0 25 - значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся),- нижний квартиль,

(0 5 - значение оценки, разделяющей упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части,- медиана;

/0 75 - значение оценки, определяющей 25% наиболее поздних оценок (из всех имеющихся),- верхний квартиль;

/, 0 - значение наиболее поздней оценки

Степень согласованности мнений экспертов определяют коэффициентом вариации п, который не должен превышать 33%. Он рассчитывается по формуле

где Б - среднее квадратическое отклонение оценок;

іде дг -среднее значение оценки, х1 -оценка каждою эксперта, п - число экспертов Медиана - значение оценки, которое находится в середине ранжированного ряда Для нахождения медианы ряда с четным числом складывают два средних варианта и делят сумму пополам

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки фения. Обоснования принимаются анонимно, без указания имен экспертов После получения дополнительной информации эксперты, как правило, корректируют свои оценки Скорректированная информация вновь по ступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение На четвертом туре каждому эксперту предоставляется право распределения оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию Как показывает практика, желаемое согласие наступает к четвертому туру. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров Тогда необходимость проведения следующих туров отпадает.

При использовании метода «Дельфи» полезно учитывать следующее 1

Группы экспертов должны быть стабильными, их численность должна удерживаться в благоразумных рамках. 2

Время между турами опросов не должно быть более месяца 3.

Вопросы в анкетах должны быть тщательно продуманы и однозначно сформулированы.

4 Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления той или иной оценки, а также и для критики этих причин. 5.

Должен проводиться систематический отбор экспертов 6.

Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам. 7.

Нужна формула согласованности оценок, основанная на данных самооценок 8.

Следует установить влияние общественного мнения на экспертные оценки и па совмещение этих оценок 9.

Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Следует отметить, что использование медианы и квартилей в методе «Дельфи» имеет помимо положительной стороны и отрицательную. В частности, при анализе ответов экспертов оценка, слишком сильно отличающаяся от других, практически исключается, несмотря на то что она может оказаться более верной, чем остальные, т с. большинство экспертов мо1ут сойтись в ошибочной оценке. Правда, по мнению авторов, подобные отклонения метода «Дельфи», компенсируются отчасти тем, что эксперта, несогласного с мнением большинства, просят обосновать причины несогласия. Все эксперты имеют возможность не согласиться с этими причинами и могут принять во внимание или отвергнуть их, переоценить свое мнение или остаться при нем Так что оценка, заметно отличающаяся от других, отбрасывается фактически лишь в том случае, если эксперту не удастся достаточно веско аргументировать свою точку зрения

Имеется и другая трудность - сложность четкой формулировки »опросов Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анке- \у Здесь также надо найти оптимум между четкостью и лаконичностью поставленных вопросов, чтобы всс участники одинаково их интерпретировали. Другим недостатком метода является то, что ответы высококомпетентных экспертов как бы «разбавляются» оценками мснсс информиро- панных специалистов, кроме того, в ряде случаев одни и тс же специалисты нключаются в разные группы (чего допускать нельзя).

Тем не менее, несмотря на указанные недостатки, метод «Дельфи» является достаточно надежным инструментом получения экспертной информации.

С его помощью выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им вместе с тем периодически II

шешивать свои суждения с учетом ответов доводов коллег. Пересмотр II

возможность изменения прежних оценок на основе выяснения соображений каждого нз экспертов и последующий анализ каждым участником I овокупности причин, представленных экспертами, стимулирует опраши- млемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

Рассмотрим применение метода «Дельфи» на примере принятия решения о величине валового сбора зерна в условном регионе в периоде упреждения В подгоювке решения участвовало 14 экспертов Координатором экспертизы был сделан доклад о состоянии и основных направлениях развития I ельского хозяйства в рассматриваемом регионе, приведена статистика вало- иого сбора зерна и 1913-2003 гг (рис 5 1) Опрос проводился в гри тура.

Экспертами были приведены следующие аргументы в пользу того, ?1 го объем сбора зерна будет минимальным 1)

прогнозируемые синоптиками неблагоприятные погодные усло- И11Я - дожди во время уборки, 2)

высокая степень износа сельскохозяйственной техники; 3)

недостаточное финансирование производящих отраслей агропромышленного комплекса; 4)

проблемы управления сельским хозяйством, ни жая квалификация мдров управления, неэффективность организационных структур управ- юпия, отсутствие системы непрерывного прогнозирования и планирования в производящих организациях и т д

500 1000 1500 2000 2500 3000 ті

іс. 5.1. Динамика валового сбора зерна в регионе В пользу того, что объем валового сбора зерна будет максимальным, Экспертами были высказаны следующие аргументы 1)

увеличение объемов производства сельскохозяйственной продукции в фермерских хозяйствах области, 2)

увеличение посевных площадей, 3)

тенденции увеличения производства зерна в регионе за последние Годы, 4)

политика органов регионального управления направлена на стабилизацию кризисных явлений в сельском хозяйстве области.

Первый тур Для проведения экспертизы экспертам раздали анкеты, В которых содержался вопрос и место для ответа. Результаты обработки анкет на первом туре представлены в табл. 5.1

Таблица 5.1

Результаты анкетирования (первый тур) Экспертные данные (тыс т) 1000 2900 1500 2500 2100 1200 1700 Ранжированный ряд 1000 1100 1100 1200 1200 1500 1700 Экспертные данные (тыс т) 2600 1100 2200 1200 1100 2400 2600 Ранжированный ряд 2100 2200 2400 2500 2600 2600 2900 Среднее значение оценки:

X =(1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 + 2200 + + 2400 + 2500 + 2600 + 2600 + 2900): 14 = 1864,3.

Среднее квадратичное отклонение оценок а ="

п - число экспертов, участвующих в эксисргизс, х1 -оценка эксперта

Коэффициент вариации у - ?ю0% = 100% = 35,0% д: 1864,3

Нижний квартиль?>02, = 1200 Верхний квартиль?>оп = 2500 м.™™, _ 1700 + 2100

Эксперты

И- Экспертные данные

Ранжированный ряд

Рис. 5.2. Графики экспертных оценок валового сбора зерна (1-й тур)

Во время второго тура повторяются те же вопросы, что и в вопроснике первого тура. Каждому эксперту предлагается пересмотреть собственный предыдущий ответ и при желании изменить его В анкете содержалась информация о средней оценке по итогам первого тура (табл. 5 2). Если новый ответ не будет находиться между верхним и нижним квартилями оценок всех экспертов в первом туре, то требовалось объяснить такую точку зрения.

Таблица 5.2

Образец анкеты второго тура Вопрос Средняя

экспертов Интервал от ветов (ИО) старый новый Причина того, почему ваш новый ответ выше (или ниже) ИО Каким будет валовой сбор зерновых в регионе в 2004 г.? 1864 1200- 2500 Заполняется координатором экспертизы Приведем статистические характеристики этого тура экспертной оценки (табл 5 3).

Таблица 5.3

Статистическая характеристика второго тура экспертизы Экспертные данные (тыс т) 950 2000 1900 1100 900 2000 2600 Ранжированный ряд 900 950 1000 1100 1200 1200 1300

Продолжение Экспертные данные (гыс т) 1500 2200 1000 1200 1100 1200 1300 Ранжированный ряд 1400 1500 1900 2000 2000 2200 2600 X -1517,8 0О 25=1ЮО сг = 511,16 Ме = 1350 ??0 75 = 2000 у = 33,6%

Третий тур экспертной оценки аналогичен Каждому эксперту предлагается пересмотреть свои предыдущие ответы и при желании исправить их. Все исправления сопровождаются объяснениями, почему увеличиваются или уменьшаются объемы валового сбора (табл. 5.4).

Таблица 5.4

Статистическая характеристика третьего тура экспертизы "Экспертные данные (тыс т) 1200 1350 1100 1000 1300 1200 1000 Ранжированный ряд 1000 1000 1000 1100 1100 1200 1200

Продолжение Экспертные данные 1450 1200 1500 1000 1200 1400 1100 Ранжированный ряд 1200 1200 1300 1350 1400 1450 1500 Х = 1221,4 0О25=11ОО сг = 160,9 М> = 1200 ?>„„=1350 V = 13,1%

В таблице 5.5 приведены результаты экспертизы по турам. Таблица 5.І

Обшиє результаты экспертизы по турам Тур Интервал Средняя оценка в туре Дисперсия Вариация, % 1 1200-2500 1 828,5 426 581,52 35,0 2 1100-2000 1 517,8 261 284,54 33,6 3 1100-1350 1 221,4 25 888,81 13,1 В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации п = 13,1%)

В результате применения метода «Дельфи» валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.

После первой апробации метода «Дельфи» были разработаны его различные модификации. Все они сохраняли основные особенности первоначального варианта, но или совершенствовали их, или включали новые элементы. Все модификации могут быть охарактеризованы следующим образом. 1.

Составление классификатора событий, которые экспертам предстоит анализировать. Составление направленного перечня событий, что является добавлением еще одного (предварительного) тура опроса, но для других экспертов, не участвующих в основном анкетировании. Другими словами, тс, кто составляет этот перечень, передают его другим экспертам, начинающим работу как бы со второго тура. В частности, этот прием активно используется в методах эвристического и программного прогнозирования. 2.

Метод Дельфи характеризуются следующими чертами:

• · анонимность мнений экспертов;
• · регулируемая обработка, связь, которая осуществляется аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;
• · групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и наиболее часто используется в технологическом прогнозировании, данные которого используются, затем в планировании производства и сбыта продукции. Это групповой метод, при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет анонимно, т.е. личные контакты экспертов и коллективные обсуждения исключаются. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Метод Дельфи назван в честь дельфийского оракула в Древней Греции. Он разработан Олафом Хельмером, видным математиком из корпорации “РЭНД”, и его коллегами и вероятно поэтому, по сравнению с другими творческими подходами, дает достаточную точность прогноза.

Метод Дельфи относится к классу количественных методов групповых экспертных оценок. Опрос экспертов проводится в 3-4 тура, состоящих из серии анкет, вопросы конкретизируются от тура к туру. Для проведения этого метода необходимо также создать аналитическую группу, которая после каждого тура производит статистическую обработку полученной информации.

Прежде всего, аналитики определяют область предпочтительных количественных значений объектов.

После такой проверки проводится очередной тур. Процедуру экспертного опроса по методу "Дельфи" можно выделить в несколько этапов.

ЭТАП 1. ФОРМИРОВАНИЕ РАБОЧЕЙ ГРУППЫ

Задача рабочей группы заключается в организации процедуры экспертного опроса.

ЭТАП 2. ФОРМИРОВАНИЕ ЭКСПЕРТНОЙ ГРУППЫ.

В соответствии с методом "Дельфи" группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

ЭТАП 3. ФОРМУЛИРОВАНИЕ ВОПРОСОВ

Формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

ЭТАП 4. ПРОВЕДЕНИЕ ЭКСПЕРТИЗЫ

Метод "Дельфи" предполагает повторение нескольких шагов проведения опроса.

ЭТАП 5. ПОДВЕДЕНИЕ ИТОГОВ ОПРОСА

Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель квартиль. Значение квартиля равно ј разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как минимальная оценка минус значение квартиля, максимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку.

Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.

Но у него есть недостатки - например, субъективность мнений специалистов, участвующих в опросе, он не позволяет сталкивать в споре мнения экспертов и на него затрачивается много времени.

Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса. Техническая реализация такой системы основана на использовании ЭВМ с внешними терминалами (дисплеями). ЭВМ обеспечивает представление вопросов экспертам (общающимся с ней через их персональные дисплеи), сбор и обработку результатов ответов, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.

Кроме того, некоторые специалисты считают, что «предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано». Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.

Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия. За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом.

Основанный на групповых экспертных оценках. Представляет собой ряд последовательных процедур, направленных на подготовку и обоснование прогноза, которые характеризуются анонимностью (независимостью ответов экспертов) опроса, регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа.

Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса, на каждом из которых ответы обрабатываются с применением математико-статистических методов и результаты сообщаются анонимно. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания процесса разработки прогноза, как правило, служит «близость» мнений экспертов.

В первом туре они дают ответы на поставленные вопросы, как правило, без аргументации. Ответы обрабатываются, определяются их статистические характеристики (среднее, среднеквадратическое отклонение , минимальное и максимальное значения ответов), и результаты обработки сообщаются экспертам. После этого проводится второй тур опроса, в ходе которого эксперты должны объяснить, почему они изменили или не изменили своего мнения.

Данные обработки результатов второго тура опроса и аргументация ответов с сохранением анонимности снова сообщаются экспертам перед проведением третьего тура опроса. Последующие туры осуществляются по такой же схеме. Подобная организация экспертизы позволяет экспертам учесть в своих ответах новые для них обстоятельства и в то же время избавляет их от давления при отстаивании своей позиции.

Как правило, на практике оказывается достаточным проведение четырех туров опросов. После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы существенно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором — необходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.

Несомненным преимуществом метода по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов, является то, что он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.

Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.

Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса.

Техническая реализация такой системы основана на использовании вычислительной техники, которая обеспечивает представление вопросов экспертам, сбор и обработку результатов ответов, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.

Сущность метода «Дельфи»

Метод Дельфи (Дельфы - древнегреческий город, располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.

Процедура Дельфи-метода:

в упрощенном виде организуется последовательность циклов мозговой атаки;

в более сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников, исключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;

в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США во второй половине 40-х годов, показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий.

Исследуемые проблемы: научные открытия, рост народонаселения, автоматизация производства, освоение космоса, предотвращение войны, военная техника. Результаты статистической обработки мнений экспертов позволили нарисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.

Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. Данный метод предполагает использование серии анкет, в каждой из которых содержаться информация и мнения, полученные из предыдущей анкеты.

При реализации метода должны выполняться следующие требования:

анонимность каждого включенного в проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы;

наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок;

получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет достаточной теоретической базы в момент составления прогноза, а также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем.

Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта исследования производится исходя из следующих принципов:

вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;

опрос экспертов проводится в несколько этапов, на каждом последующем этапе вопросы и ответы все более уточняются;

после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;

эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;

статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов производится в четыре этапа с промежутками в один месяц.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия с экспертами.

Первый этап. Целью первого этапа является составление перечня событий для прогноза в определенной области науки и техники.

Первая анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты в письменной форме называют изобретения, или научные открытия, которые, по их мнению, должны быть сделаны в последующие 50 лет (можно взять и другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50 лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй этап. Экспертам направляют свободный перечень событий и просят оценить даты, когда могут произойти эти события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими даты.

После того как прогнозы и оценки дат, сделанные членами группы, вернулись к организатору, последний должен подготовить статическую сводку мнений, упоминая аргументы и доводы в пользу того, что рассматриваемое событие произойдет раньше или позже средней оценки.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы.

Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов -- медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативе, выше и ниже которых расположены 25% численных значений оценок. Расстояние между квартилиями характеризует разброс экспертных оценок, и тем самым характеризует согласованность точек зрения экспертов.

Вводятся следующие обозначения:

Q0 -- значение наиболее ранней оценки;

Q0,25 -- значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся), -- нижний квартиль;

Q0,5 -- значение оценки разделяющей упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части -- медиана;

Q0,75 -- значение оценки, определяющей 25% наиболее поздних оценок (из всех имеющихся), -- верхний квартиль;

Q1,0 -- значение наиболее поздней оценки;

Значение Q0,15 принимается за показатель обобщенного мнения экспертов об ожидаемом времени свершения определенного события.

Степень согласованности мнений экспертов определяют коэффициентом вариации n.

xi - оценка каждого эксперта;

x- число экспертов, участвующих в экспертизе.

Затем аналитики проводят статическую обработку полученных оценок: уточняют перечень событий и анализирует характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака. Под модой понимается наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим ј всего ряда (нижний квартиль) и ѕ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану принимается средний член ряда (при нечетном числе экспертов), по отношению к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна среднему из значений оценок двух центральных экспертов. В нашем случае - нечетное число экспертов 11, медиана будет совпадать с оценкой N6 (рисунок 3). Затем определяются верхний и нижний квартили, т.е. интервалы Q1Me и Q3Me. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения с групповым мнением. Эксперты могут приводить любые аргументы или возрождения, такие же, какие они приводят во время дискуссии. Разница заключается лишь в том, что эти аргументы анонимны. Они могут пересмотреть свои мнения и при желании исправить оценки.

С полученными обоснованиями знакомят остальных экспертов, не указывая при этом, чьи они. Такая процедура позволяет всем экспертам принять в расчет обстоятельства, которые они могли случайно пропустить или которыми пренебрегли во время первого и второго этапа.

Третий этап. Третья анкета состоит из перечня событий, групповой медианы, дат наступления события, верхнего и нижнего квартилей для каждого события, а также сводных данных о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы и новые квартили, суммировать аргументы, представленные с обеих сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь передают перечень событий, статическое описание оценок группы и аргументы обеих сторон.

Эксперты должны принять во внимание аргументы и их критику и составить новый прогноз.

Организатор рассчитывает медианы и квартили дат каждого события. На этом заканчивается работа экспертов.

Процедуры, используемые в методе Дельфи, характеризуется тремя основными чертами: анонимность, регулируемой обратной связью и групповым ответом. Анонимность достигается применением специальных вопросников или другими способами индивидуального опроса, регулируемая обратная связь осуществляется за счет проведения нескольких этапов опроса, причем результаты каждого этапа обрабатываются и сообщаются экспертам. С помощью статических методов группового ответа уменьшается статический разброс индивидуальных оценок и получается групповой ответ, в котором правильно отражено мнение каждого эксперта.

При прогнозировании, в целях минимизации расходов, на прогноз стараются привлекать минимальное число экспертов при условии обеспечения ошибки результата прогнозирования не более b, где 0

Рекомендуют определять минимальное число экспертов по формуле: Nmin=0,5(3/b+5) . При этом должна наблюдаться стабилизация средней оценки прогнозируемой характеристики. О достижении этой стабилизации свидетельствует тот факт, что включение или исключение эксперта из группы не изменяет относительную оценку искомой величины более, чем на b.

При использовании метода «Дельфи» следует учитывать следующее:

• 1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.
• 2. Время между турами опросов должно быть не более месяца.
• 3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
• 4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомится с причиной той или иной оценки, а также и для критики этих причин.
• 5. Должен проводиться систематический отбор экспертов.
• 6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
• 7. Нужна формула согласованности оценок, основанная на данных самооценок.
• 8. Следует установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.
• 9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Следует также отметить, что использование меридианы и квартилей в методе «Дельфи» имеет помимо положительной стороны и отрицательную. В частности при рассмотрении оценок группы экспертов оценка, слишком сильно отличающаяся от других, практически исключается, не смотря на то, что она может оказаться более верной, чем остальные, т.е. большинство экспертов могут сойтись в ошибочной оценке.

В последние годы разработан ряд модификаций метода Дельфи. В этих модификациях изменяются многие элементы методики, используемой в классическом методе Дельфи, но принцип группового ответа соблюдается. Метод структуризации относится к модифицированным методам Дельфи.