V souvislosti s replikační krizí i v souvislosti se současným trendy zpracovávání metaanalýz se v psychologii často hovoří o problému studií s nízkým počtem participantů. Někdy se zdá, že konsenzus je jasný – studie s malým počtem účastníků obvykle vůbec nestojí za zmínku, ba co víc, mnohdy jsou důvodem velké části psychologických omylů. Je tomu ale opravdu tak?
Přesně touto otázkou se v nedávné studii zabývali Smith a Little (2018). Autoři hned na úvod poznamenávají, že dva z klíčových (a chce se říci neotřesitelných) objevů kognitivní vědy: Ebbinghausova křivka zapomínání a Weberův zákon (pozornějšímu čtenáři pravděpodobně hned naskočí známější Weber-Fechnerův zákon), byly vyzkoumány na jediném a s experimentální podmínkou obeznámeném participantovi.* Ze současnosti uvádějí autoři některé impaktované časopisy, kupř. Journal of Vision či Vision Research, které pravidelně zveřejňují články, kde je počet probandů naprosto minimální, a často jsou s výzkumnými záměry obeznámeni. Jak je to možné? Liší se tak zásadně sociální psychologie od té vizuální?
Důvody proč může být nízký počet probandů ku prospěchu
Smith a Little uvádí tři hlavní důvody, kvůli nimž alespoň u vizuální psychologie neplatí, že čím více, tím lépe. Prvním zjevným důvodem je, že vizuální experimenty spoléhají obvykle na objektivní nástroje měření – reakční časy, senzitivitu, směr pohybu apod. Výsledek se tak porovnává s určitým kritériem, kupř. sledujeme práh probandova rozpoznání zrychlení bodu na obrazovce. To je základní rozdíl oproti nejčastěji užívaným ordinálním škálám v sociální psychologii, kde lze jen velmi těžko odhadovat rozdíly objektivně. Druhým důvodem je silné teoretické zakotvení, které ve vizuálních experimentech zjednodušeně vede k tomu, že z cíle testovat signifikanci nejasného (ordinálně operacionalizovaného) rozdílu dvou experimentálních podmínek se stává zjišťování, zdali se náš (explicitně) stanovený matematický model shoduje s daty. Třetím důvodem je samotný způsob experimentování: Ve vizuálních experimentech je největší vnitro i mezi-subjektová variance na začátku testování, což je lehce odbouratelné právě u nenaivního subjektu. Stejně tak je možné individualizovat prahy kupř. kontrastu pro jednotlivé probandy – sledované proměnné pak budou nabývat menších rozptylů (mimo dalších výhod v případě dobře promyšleného designu).
Replikace „uvnitř“ subjektu
Ačkoli znějí uvedené argumenty logicky, je třeba zmínit, že nízký počet probandů není ani při splnění všech podmínek samonosný, a stejně tak nelze říci, že by požadavek replikace ve vizuálních experimentech neměl (a nemohl) být naplněn. Naopak, jen je třeba rozlišovat vztahy pozorované mezi subjekty a v rámci jednoho subjektu: Kupříkladu Sternbergova metoda aditivních faktorů může sloužit právě účelům vnitrosubjektové replikace. Autoři na základě Sternbergovy teorie simulovali 400 vnitrosubjektových opakování – což je typický počet pro vzorky s malým počtem participantů. Z výsledků simulace autorů vyplývá, že vnitroskupinové opakování ve skutečnosti „umisťuje“ statistickou sílu ve vizuálních experimentech tam, kde je to žádoucí. Právě vizuální psychologie většinou pracuje s nízkoúrovňovými procesy, které se mezi lidmi neliší kvalitativně, nýbrž pouze kvantitativně. Design s nízkým počtem účastníků tak odhaluje konzistenci daného „efektu“ u jednotlivců, a v případě, že kupříkladu u dvou ze čtyř celkových participantů k efektu vůbec nedojde, je zřejmé, že zde existuje nepostřehnutý vztah mezi subjekty. V každém případě však získáváme náhled, který bychom z prosté replikace na vysokém počtu participantů jinak nezískali. Autoři tak shrnují, že navyšovat počet participantů se zdá vhodné zejména v případech, kdy jsou participanti citliví na fakt samotného pozorování či pokud od participantů lze získat pouze omezené množství dat.
Není psychologie jako psychologie
Závěrem tak můžeme shrnout, že oba přístupy mají své výhody zejména dle domény svého využití – tam, kde existuje omezený prostor pro zkoumání proměnných, zdá se vhodné zvyšovat počet participantů. Naopak v prostředí, které je velmi bohaté na data, a které tak umožňuje de facto replikovat naše domněnky uvnitř subjektu, tam je naopak žádoucí nízký počet participantů. V každém případě není psychologie jako psychologie - vyžadovat větší počet participantů, resp. replikací na větším počtu participantů se zdá oprávněné příkladem právě v sociální psychologii. Jindy ale může být naopak velmi vhodné mít omezený počet participantů, a to je doména právě našeho výzkumu – vizuální psychologie.
* Ebbinghaus velké množství poznatků vyzkoumal sám na sobě – snažil se kupř. zapamatovat si shluky písmen bez jakékoli souvislosti a následně zkoušel, jak rychle je zapomíná.
10/6/2018 (mp)
Zdroje
Ilustrace: Maki Naro (2016). Repeat After me: The Nib. Dostupné z: https://thenib.com/repeat-after-me
Smith, P. L., & Little, D. R. (2018). Small is beautiful: In defense of the small-N design. Psychonomic bulletin & review, 1-19. Dostupné z: https://link.springer.com/article/10.3758/s13423-018-1451-8
