Метод Дельфи — Структурированный экспертный консенсус
- Автор метода
- Norman Dalkey & Olaf Helmer (RAND Corporation)
- Год
- 1963
- Тип
- Structured iterative expert-elicitation process
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Метод Дельфи представляет собой структурированную итеративную методику опроса, разработанную Норманом Далки и Олафом Хельмером в корпорации RAND в 1963 году для сбора и согласования экспертных мнений по сложным темам, где эмпирические данные отсутствуют или недостаточны.
Он предполагает сбор независимых суждений от географически распределенной группы экспертов в течение нескольких анонимных раундов, с предоставлением агрегированных результатов участникам после каждого раунда, чтобы они могли пересмотреть свои взгляды в свете коллективной позиции группы.
Интуиция метода
Представьте, что вы просите группу специалистов сделать прогноз относительно чего-то неопределенного — например, какие медицинские методы лечения станут стандартной практикой через десять лет. Если они будут обсуждать это открыто, доминирующие голоса могут исказить результат. Метод Дельфи решает эту проблему, обеспечивая анонимность респондентов друг от друга на протяжении всего процесса. После каждого раунда анкетирования каждый эксперт видит только статистическое обобщение ответов группы, а не то, кто что сказал. Этот контролируемый цикл обратной связи позволяет отдельным лицам пересмотреть свои позиции без социального давления, постепенно приближая группу к обоснованному консенсусу.
История
Метод Дельфи был разработан в корпорации RAND в начале 1950-х годов и впервые формально описан Норманом Далки и Олафом Хельмером в их статье 1963 года в журнале Management Science об использовании структурированного экспертного опроса для прогнозирования технологий. Название отсылает к Дельфийскому оракулу в Древней Греции. В 1970-х и 1980-х годах метод распространился из области прогнозирования в области обороны и технологий в области политики здравоохранения, образования и социальных наук. Был представлен модифицированный вариант — Policy Delphi — для целенаправленного выявления разногласий, а не сближения. Метод по-прежнему широко используется при разработке клинических рекомендаций, оценке медицинских технологий и стратегическом прогнозировании.
Когда применять
Используйте метод Дельфи, когда эмпирические данные скудны или недоступны, а экспертное мнение является наиболее обоснованной базой доказательств; когда вам нужны структурированные прогнозы, списки приоритетов или взвешивание критериев для целей политики, клинических рекомендаций или стратегического планирования; и когда участники рассредоточены и не могут встречаться лично. Минимальный жизнеспособный состав группы — 10 экспертов, и необходимо запланировать как минимум два раунда анкетирования. Если на вопрос можно ответить с помощью существующих количественных данных, более подходящим будет статистический анализ. Если вам требуется обсуждение в реальном времени небольшой группы, находящейся в одном месте, лучше подойдет фокус-группа или метод номинальных групп.
Ограничения и замечания
- Требуется минимальный состав группы из 10-15 экспертов; при меньшем числе участников статистические показатели консенсуса становятся ненадежными.
- Процесс медленный: несколько раундов анкетирования с анализом между раундами могут занять недели или месяцы.
- Качество консенсуса полностью зависит от качества экспертной группы; плохо набранная группа дает плохо обоснованные результаты.
- Предварительное определение порога консенсуса методологически важно, но по своей сути произвольно; разные пороги могут давать разные результаты «консенсуса».
- Отсев участников между раундами является обычным явлением; выбывшие участники могут исказить окончательный консенсус.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Анонимность нейтрализует социальное доминирование и предвзятость авторитета, позволяя более скромным экспертам вносить вклад на равных условиях.
- Контролируемая структурированная обратная связь направляет группу к обоснованному сближению, а не к конформизму группового мышления.
- Участники могут быть географически рассредоточены, что делает метод практичным, когда сбор группы для личной встречи нецелесообразен или затратен.
- Итеративная структура прозрачна и проверяема: данные каждого раунда могут быть представлены, показывая, как менялись мнения.
- Хорошо работает для задач определения приоритетов и взвешивания критериев, для которых не существует эмпирического ответа золотого стандарта.
Применение
- Разработка критериев клинических рекомендаций и оценки медицинских технологий при отсутствии рандомизированных данных.
- Стратегическое прогнозирование и прогнозирование технологий в планировании политики и промышленности.
- Разработка учебных программ и рамок компетенций в высшем образовании.
- Упражнения по определению приоритетов при распределении ресурсов общественного здравоохранения.
- Взвешивание критериев в многокритериальном анализе решений при отсутствии эмпирических весов.
Как это работает
Как это работает
Набирается группа из 10-15 экспертов в соответствующей области. Панелисты должны обладать релевантной экспертизой; разнообразие по субдисциплинам, учреждениям или географическим регионам укрепляет результат. Анонимность гарантируется с этого момента — участники никогда не узнают, кто еще входит в группу, или кто дал тот или иной ответ.
Распространяется первоначальная открытая или структурированная анкета. В первом раунде вопросы часто бывают широкими, чтобы выявить весь спектр релевантных проблем. Ответы собираются, кодируются и анализируются — как правило, с использованием описательной статистики (медиан, межквартильных размахов) для масштабированных элементов и тематической группировки для текстовых ответов.
Анонимизированные агрегированные результаты первого раунда передаются всем участникам. Каждый эксперт видит, где его собственный ответ находится относительно распределения группы — обычно выраженного медианой группы и межквартильным размахом — не зная индивидуальных атрибуций. Меньшинству, чье мнение существенно отличается от медианы, предлагается предоставить письменное обоснование.
Второй (а при необходимости и третий) опросник отправляется с учетом агрегированной обратной связи и, где применимо, обоснований меньшинства. Участники пересматривают свои позиции в свете обобщения группы. Процесс продолжается до тех пор, пока не будет достигнут заранее определенный порог консенсуса — обычно определяемый как межквартильный размах в 1 или менее по пяти- или семибалльной шкале Лайкерта, или как 70-80 процентов участников, попадающих в указанный диапазон.
Когда критерий консенсуса достигнут или после заранее определенного максимального числа раундов процесс завершается. Окончательные результаты включают оценки или ранжирования консенсуса, степень согласия (межквартильный размах, процент согласия, коэффициент содержательной валидности) и сводку сохраняющихся мнений меньшинства. Эти результаты напрямую используются для принятия политических, клинических или стратегических решений.
Частые ошибки
- Определение порога консенсуса после сбора данных — всегда указывайте критерий межквартильного размаха или процентного согласия в протоколе исследования до начала сбора данных.
- Рассмотрение любого уровня согласия как консенсуса без указания межквартильного размаха или процентного согласия; всегда публикуйте статистику разброса вместе с медианой.
- Проведение только одного раунда анкетирования — итеративный цикл обратной связи метода является конститутивным, а не факультативным; один раунд — это опрос, а не Дельфи.
- Набор менее 10 экспертов — ниже этого порога статистические показатели распределения теряют смысл, и более подходящим дизайном является фокус-группа.
- Предположение, что метод является чисто качественным — Дельфи дает порядковые оценки, требующие описательного, а иногда и инференциального статистического анализа между раундами.
Часто задаваемые вопросы
Сколько раундов требуется в исследовании Дельфи?
Требуется как минимум два раунда — один для выявления первоначальных позиций и один для внесения корректировок в свете обратной связи от группы. Большинство опубликованных исследований Дельфи используют два или три раунда. Третий раунд оправдан, когда консенсус не достигнут после второго раунда, а межквартильный размах сужается; после трех раундов риск отсева участников обычно перевешивает пользу от дальнейшей итерации.
Какой размер группы подходит?
Исходная литература устанавливает практический минимум в 10-15 экспертов. Группа менее 10 человек дает ненадежную статистику распределения, и метод теряет свою инференциальную основу. Фиксированного верхнего предела нет, но группы более 30 человек создают административную сложность при снижающейся отдаче от качества консенсуса. Разнообразие группы — по субдисциплинам и институциональным контекстам — важнее, чем просто размер.
Как определяется консенсус?
Наиболее распространенное операционное определение — это межквартильный размах (IQR) в 1 или менее по пяти- или семибалльной шкале Лайкерта, или 70-80 процентов участников, оценивающих в пределах указанного диапазона. Крайне важно, чтобы порог был определен в протоколе исследования до сбора данных, а не выбран постфактум для соответствия результатам.
Когда следует использовать фокус-группу вместо исследования Дельфи?
Если ваша группа экспертов небольшая (менее 10 человек), находится в одном месте и возможно обсуждение в реальном времени, более подходящей будет фокус-группа или метод номинальных групп. Преимущества метода Дельфи — анонимность и географическая гибкость — проявляются только при достаточно большой группе, чтобы статистические показатели распределения были значимыми, и достаточно рассредоточенной, чтобы предотвратить личную встречу.
Похожие методы
Источники
Dalkey, N. & Helmer, O. (1963). An Experimental Application of the Delphi Method to the Use of Experts. Management Science, 9(3), 458-467.
Открыть ссылку DOIСкопировано.