Metoda Delficka — ustrukturyzowane porozumienie ekspertów
- Autor metody
- Norman Dalkey & Olaf Helmer (RAND Corporation)
- Rok
- 1963
- Typ
- Structured iterative expert-elicitation process
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Metoda Delficka to ustrukturyzowana, iteracyjna technika ankietowa opracowana przez Normana Dalkeya i Olafa Helmera w RAND Corporation w 1963 roku w celu pozyskiwania i konwergencji opinii ekspertów na złożone tematy, dla których dane empiryczne są niedostępne lub niewystarczające.
Polega ona na zbieraniu niezależnych ocen od geograficznie rozproszonego panelu ekspertów w wielu anonimowych rundach, z przekazywaniem zagregowanych wyników uczestnikom po każdej rundzie, aby mogli oni zweryfikować swoje poglądy w świetle zbiorowego stanowiska grupy.
Intuicja stojąca za metodą
Wyobraźmy sobie prośbę skierowaną do grupy specjalistów o prognozowanie czegoś niepewnego — na przykład, które metody leczenia staną się standardową praktyką za dziesięć lat. Jeśli będą oni dyskutować otwarcie, dominujące głosy mogą zniekształcić wynik. Metoda Delficka rozwiązuje ten problem, zapewniając anonimowość respondentów i anonimowość wobec siebie nawzajem przez cały czas. Po każdej rundzie kwestionariuszy każdy ekspert widzi jedynie statystyczne podsumowanie odpowiedzi grupy, a nie to, kto co powiedział. Ta kontrolowana pętla informacji zwrotnej pozwala jednostkom na ponowne rozważenie swoich stanowisk bez presji społecznej, stopniowo zbliżając grupę do uzasadnionego konsensusu.
Historia
Metoda Delficka została opracowana w RAND Corporation na początku lat 50. XX wieku i po raz pierwszy formalnie opisana przez Normana Dalkeya i Olafa Helmera w ich artykule z 1963 roku w czasopiśmie Management Science na temat wykorzystania ustrukturyzowanego pozyskiwania opinii ekspertów do prognozowania technologicznego. Nazwa nawiązuje do wyroczni w Delfach w starożytnej Grecji. W latach 70. i 80. XX wieku metoda rozprzestrzeniła się z prognozowania obronnego i technologicznego na politykę zdrowotną, edukację i nauki społeczne. Wprowadzono zmodyfikowany wariant — politykę Delficką — w celu celowego ujawniania niezgody, a nie konwergencji. Metoda jest nadal szeroko stosowana w opracowywaniu wytycznych klinicznych, ocenie technologii medycznych i prognozowaniu strategicznym.
Kiedy stosować
Należy stosować metodę Delficką, gdy dane empiryczne są rzadkie lub niedostępne, a opinia ekspertów stanowi najbardziej uzasadnioną bazę dowodową; gdy potrzebne są ustrukturyzowane prognozy, listy priorytetów lub wagi kryteriów dla celów polityki, wytycznych klinicznych lub planowania strategicznego; oraz gdy uczestnicy są rozproszeni i nie mogą spotkać się osobiście. Minimalna liczba ekspertów w panelu wynosi 10, a należy zaplanować co najmniej dwie rundy kwestionariuszy. Jeśli pytanie można odpowiedzieć za pomocą istniejących danych ilościowych, bardziej odpowiednia jest analiza statystyczna. Jeśli potrzebna jest dyskusja w czasie rzeczywistym w małej, zlokalizowanej grupie, lepszym rozwiązaniem jest grupa fokusowa lub technika grupy nominalnej.
Ograniczenia i uwagi
- Wymaga minimalnego panelu 10-15 ekspertów; przy mniejszej liczbie uczestników statystyki konsensusu stają się niewiarygodne.
- Proces jest powolny: wiele rund kwestionariuszy z analizą międzyrundową może trwać tygodnie lub miesiące.
- Jakość konsensusu zależy całkowicie od jakości panelu ekspertów; źle zrekrutowany panel prowadzi do słabo uzasadnionych wyników.
- Wstępne zdefiniowanie progu konsensusu jest ważne metodologicznie, ale z natury arbitralne; różne progi mogą prowadzić do różnych wyników „konsensusu”.
- Występuje częste wycofywanie się uczestników między rundami; osoby, które zrezygnowały, mogą zniekształcić ostateczny konsensus.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Anonimowość neutralizuje dominację społeczną i błąd autorytetu, pozwalając cichszym ekspertom na równych zasadach się wypowiedzieć.
- Kontrolowana, ustrukturyzowana informacja zwrotna kieruje panel w stronę racjonalnej konwergencji, a nie konformizmu grupowego.
- Uczestnicy mogą być geograficznie rozproszeni, co czyni metodę praktyczną, gdy zebranie panelu twarzą w twarz jest niepraktyczne lub kosztowne.
- Iteracyjna struktura jest przejrzysta i możliwa do audytu: dane z każdej rundy mogą być raportowane, pokazując, jak zmieniały się poglądy.
- Dobrze sprawdza się w zadaniach ustalania priorytetów i wag kryteriów, dla których nie istnieje złoty standard odpowiedzi empirycznej.
Zastosowania
- Opracowywanie wytycznych praktyki klinicznej i kryteriów oceny technologii medycznych, gdzie brakuje dowodów z randomizowanych badań.
- Prognozowanie strategiczne i technologiczne w planowaniu polityki i przemysłu.
- Projektowanie programów nauczania i opracowywanie ram kompetencji w szkolnictwie wyższym.
- Ćwiczenia w ustalaniu priorytetów w alokacji zasobów w zdrowiu publicznym.
- Ważenie kryteriów w analizie wielokryterialnej, gdy brakuje wag empirycznych.
Jak to działa
Jak to działa
Rekrutowany jest panel 10-15 ekspertów dziedzinowych. Członkowie panelu muszą posiadać rzeczywistą, istotną wiedzę specjalistyczną; różnorodność w obrębie poddziedzin, instytucji lub regionów geograficznych wzmacnia wynik. Anonimowość jest gwarantowana od tego momentu — uczestnicy nigdy nie dowiadują się, kto jeszcze jest w panelu ani która osoba udzieliła której odpowiedzi.
Dystrybuowany jest początkowy kwestionariusz otwarty lub ustrukturyzowany. W pierwszej rundzie pytania są często szerokie, aby ujawnić zakres istotnych zagadnień. Odpowiedzi są zbierane, kodowane i analizowane — zazwyczaj przy użyciu statystyk opisowych (mediany, rozstępy międzykwartylowe) dla pozycji skalowanych i grupowania tematycznego dla tekstu otwartego.
Zanonimizowane, zagregowane wyniki z pierwszej rundy są udostępniane wszystkim członkom panelu. Każdy ekspert widzi, gdzie jego własna odpowiedź plasuje się względem rozkładu grupy — zazwyczaj wyrażonego jako mediana grupy i rozstęp międzykwartylowy — bez znajomości indywidualnych atrybucji. Mniejszość, której poglądy znacząco odbiegają od mediany, jest proszona o przedstawienie pisemnego uzasadnienia.
Wysyłany jest drugi kwestionariusz (i trzeci, jeśli jest potrzebny), zawierający zagregowane informacje zwrotne i, tam gdzie to możliwe, uzasadnienia mniejszości. Członkowie panelu ponownie rozważają swoje stanowiska w świetle podsumowania grupowego. Proces trwa do momentu osiągnięcia z góry określonego progu konsensusu — często definiowanego jako rozstęp międzykwartylowy wynoszący 1 lub mniej na pięcio- lub siedmiostopniowej skali Likerta, lub jako 70-80 procent członków panelu mieszczących się w określonym zakresie.
Gdy kryterium konsensusu zostanie spełnione, lub po uprzednio określonej maksymalnej liczbie rund, proces zostaje zakończony. Ostateczne wyniki obejmują oceny lub rankingi konsensusu, stopień zgodności (rozstęp międzykwartylowy, procent zgodności, wskaźnik trafności treści) oraz podsumowanie utrzymujących się poglądów mniejszości. Wyniki te są bezpośrednio wykorzystywane w procesie decyzyjnym dotyczącym polityki, praktyki klinicznej lub strategii.
Częste pułapki
- Definiowanie progu konsensusu po zebraniu danych — zawsze należy określić kryterium rozstępu międzykwartylowego lub procentowej zgodności w protokole badania przed rozpoczęciem zbierania danych.
- Traktowanie dowolnego poziomu zgodności jako konsensusu bez podawania rozstępu międzykwartylowego lub procentowej zgodności; zawsze publikuj statystykę dyspersji wraz z medianą.
- Przeprowadzenie tylko jednej rundy kwestionariusza — iteracyjna pętla informacji zwrotnej metody jest konstytutywna, a nie opcjonalna; jedna runda to ankieta, a nie metoda Delficka.
- Rekrutowanie mniej niż 10 ekspertów — poniżej tego progu statystyki rozkładu tracą znaczenie, a grupa fokusowa jest bardziej odpowiednim projektem.
- Zakładanie, że metoda jest czysto jakościowa — metoda Delficka generuje oceny porządkowe, które wymagają analizy statystycznej opisowej, a czasem wnioskującej, między rundami.
Najczęściej zadawane pytania
Ile rund potrzebuje badanie metodą Delficką?
Wymagane są co najmniej dwie rundy — jedna w celu zebrania początkowych stanowisk i jedna w celu umożliwienia ich weryfikacji w świetle informacji zwrotnej od grupy. Większość opublikowanych badań metodą Delficką wykorzystuje dwie lub trzy rundy. Trzecia runda jest uzasadniona, gdy konsensus nie został osiągnięty po drugiej rundzie, a rozstęp międzykwartylowy się zmniejszał; po przekroczeniu trzech rund ryzyko wycofania się uczestników zazwyczaj przewyższa korzyści z dalszej iteracji.
Jaki rozmiar panelu jest odpowiedni?
Literatura przedmiotu określa praktyczne minimum na 10-15 ekspertów. Panel poniżej 10 osób generuje niewiarygodne statystyki rozkładu, a metoda traci swoją podstawę wnioskowania. Nie ma ustalonej górnej granicy, ale panele powyżej 30 osób generują złożoność administracyjną przy malejących korzyściach dla jakości konsensusu. Różnorodność panelu — w obrębie poddziedzin i kontekstów instytucjonalnych — jest ważniejsza niż sam rozmiar.
Jak definiuje się konsensus?
Najczęstsza definicja operacyjna to rozstęp międzykwartylowy (IQR) wynoszący 1 lub mniej na pięcio- lub siedmiostopniowej skali Likerta, lub 70-80 procent członków panelu oceniających w określonym zakresie. Kluczowe jest, aby próg został zdefiniowany w protokole badania przed rozpoczęciem zbierania danych, a nie wybrany post hoc, aby pasował do wyników.
Kiedy należy zamiast badania metodą Delficką użyć grupy fokusowej?
Jeśli panel ekspertów jest mały (poniżej 10 osób), zlokalizowany, a dyskusja w czasie rzeczywistym jest wykonalna, bardziej odpowiednia jest grupa fokusowa lub technika grupy nominalnej. Zalety metody Delfickiej — anonimowość i elastyczność geograficzna — ujawniają się tylko przy panelu wystarczająco dużym, aby statystyki rozkładu były znaczące, i na tyle rozproszonym, aby uniemożliwić zebranie twarzą w twarz.
Pokrewne metody
Źródła
Dalkey, N. & Helmer, O. (1963). An Experimental Application of the Delphi Method to the Use of Experts. Management Science, 9(3), 458-467.
Otwórz odnośnik DOISkopiowano.