Te zdradliwe ankiety – o pułapkach źle zadanych pytań

Te zdradliwe ankiety – o pułapkach źle zadanych pytań

Badanie potrzeb użytkowników jest super ważne a ankiety internetowe są najtańszym i najłatwiej dostępnym sposobem na zebranie danych, z którego na 100% skorzystaliście lub skorzystacie jeszcze nie raz. Przecież po to czytacie ten blog, prawda?  Dlatego wyjaśnijmy sobie na wstępie subtelną różnicę pojęciową, która pozwala odróżnić badawczych noobów od prosów: ankieta to nie kwestionariusz.

Ankieta to arkusz –  wydrukowany lub elektroniczny – z naniesionymi na niego pytaniami i dostępnymi odpowiedziami (lub miejscami na swobodne wypowiedzi respondentów).

Kwestionariusz to zbiór tych pytań. Dlatego mówimy o kwestionariuszu ankiety lub kwestionariuszu wywiadu – bo mamy jakąś listę zagadnień, które możemy zadać respondentowi na dwa różne sposoby: w bezpośrednim kontakcie – rozmowie (wywiad) lub pośrednio, w formie wydrukowanej lub elektronicznej listy (ankieta). Kwestionariusz: technika badawcza, czynność wykonywana w celu zebrania informacji.  Ankieta: narzędzie wykorzystywane do zrealizowania tej techniki.

W praktyce wszyscy (pozdrawiam z tego miejsca szczególnie serdecznie moich studentów!) zwykle i tak mylą jedno z drugim, no ale skoro jesteśmy badaczami – szanujmy się i mówmy jak badacze. 

Na drugim roku studiów zakochałam się w badaniach ankietowych. Wizja wrzucenia w sieć kilku pytań a potem obserwowania jak odpowiedzi spływają, wykresy się generują a wnioski – niemal same podają na tacy była absolutnie zachwycająca! Jak można męczyć się z jakościówką gdy tutaj te liczby, procenty, konkrety! Otrzeźwienie przyszło po kilku samodzielnie zrealizowanych i całkowicie… bezużytecznych badaniach. Zrozumiałam, że zrobić ankietę to prościzna. Zrobić dobrą ankietę – to sztuka. 

A co może pójść nie tak? Wszystko. Niepoprawnym badaniem zbierzesz niepoprawne dane. A jeśli na podstawie niepoprawnych danych podejmiesz decyzję biznesową, to jaka to będzie decyzja? 

Pisząc ten artykuł przejrzałam kilkadziesiąt ankiet, dystrybuowanych za pośrednictwem Facebooka i grup dedykowanych biznesom, startupom i rozwijaniu produktów. Na ich podstawie omówię trzynaście (chciałam dziesięć, ale żaden nie chciał dać się pominąć) najważniejszych błędów, które mogą prowadzić do nieprawidłowego wnioskowania. 

1. Pytania sugerujące

Prowadząc badania we własnej firmie czy nad własnym projektem bardzo trudno jest – zwłaszcza na początku – zachować obiektywność. W proces badawczy wchodzimy, chcąc nie chcąc, z różnymi oczekiwaniami, nadziejami, przekonaniami. Przenosimy je, czasem bezpośrednio, do kwestionariusza wierząc, że dzięki ustosunkowaniu się respondenta do danego twierdzenia w formie TAK/NIE uda nam się zweryfikować pomysł biznesowy, przetestować hipotezę. Szczególnym przypadkiem takiej sytuacji jest umieszczanie w kwestionariuszu pytań badawczych jako pozycji testowych. Jak wtedy, gdy chcąc zweryfikować potencjał sprzedażowy nowej, eleganckiej, wygodnej i ekologicznej kolekcji ubrań, pytamy: „Czy zgadzasz się z twierdzeniem, że współczesne kobiety potrzebują ubrań eleganckich, a jednocześnie wygodnych i zaprojektowanych z myślą o środowisku?” – i odpowiedź traktujemy jako rozstrzygnięcie i wniosek badawczy. Pomijamy tym samym wiele niuansów, wpływających na proces decyzyjny, absurdalnie upraszczamy proces badania i dostajemy wnioski bezwartościowe, nieprzekładalne na dalsze biznesowe decyzje.

Jako jedno z wielu pytań, wstęp do dalszego pogłębiania zagadnienia, sposób na weryfikację konkretnego stwierdzenia lub liczenie częstości wystąpień danego rodzaju odpowiedzi w szerszym kontekście miewa to sens; jednak projektując badanie w celu lepszego zrozumienia klientów, znalezienia lub pogłębienia insightów, taka forma będzie zbyt bezpośrednia, narzucająca, ograniczająca i doprowadzi najwyżej do pochopnych decyzji biznesowych.

Również pytania w rodzaju: „czy uważasz, że mój pomysł na biznes <tu następuje mniej lub bardziej szczegółowy opis koncepcji> ma sens?” nie jest badaniem potrzeb ani rynku. Choćby dlatego, że odpowiedzi na tak zadane pytanie w duże mierze zależą od tego, kto odpowiada – i o tym w kolejnym punkcie.


2. Kiepska dystrybucja

Prowadząc badania ankietowe mamy zwykle do wyboru dwie drogi: profesjonalne panele badawcze lub samodzielną dystrybucję za pośrednictwem mailingu, grup dyskusyjnych lub facebooka. Ten ostatni kanał jest obecnie chyba najpopularniejszy przy samodzielnych projektach badawczych. Niesie jednak ze sobą ryzyko błędnego doboru próby. Nie chcę pisać o oczywistościach, jak w sytuacji, gdy o zdanie na temat produktu kierowanego do mężczyzn 35+ zapytasz na grupie dla nastoletnich fanów motoryzacji. Nie zamierzam też wchodzić w tej chwili w metodologiczne kwestie doboru próby, jej jednorodności i pozostałych parametrów pod kątem analizy statystycznej. Mam na myśli niuanse, takie jak na przykład facebookowe grupy właścicielek kobiecych biznesów – bardzo wspierające, empatyczne, przez co kompletnie nieużyteczne dla celów prowadzonych czasem przez ich uczestniczki badań rynku. Pytając tam o opinię otrzyma się zazwyczaj bardzo pozytywne, ale niekoniecznie obiektywne czy miarodajne biznesowo odpowiedzi.

3. Brak wstępu

Opis badania jest ważny. Z powodów etycznych (pisałam o tym tutaj: http://laboratoriumbiznesu.pl/mindset/etyka-w-badaniach/) ważne jest przedstawienie celu badania oraz sposobu wykorzystania zebranych informacji. Jeśli zbierane są dane pozwalające na identyfikację respondenta (imię, nazwisko, adres email, adres IP) to konieczne jest także przygotowanie informacji o przetwarzaniu danych osobowych zgodnie z dyrektywą RODO. Brak wstępu wyjaśniającego kontekst badania znacząco obniża również motywację respondentów oraz utrudnia udzielenie wartościowych odpowiedzi.

4. Długa metryczka na początku

Metryczka na początku zabiera energię i zużywa cierpliwość – dlaczego więc uparcie upychamy ją w pierwszych pytaniach? Zostawmy to na koniec, najpierw pytając o rzeczy dla nas najważniejsze.

Więcej – w pewnych warunkach, z punktu widzenia typowych badań rynku, kiedy grupa docelowa jest dość jasno określona, a naszym celem jest lepsze zrozumienie, metryczka może być w ogóle zredukowana do minimum pozwalającego podzielić respondentów na podgrupy (kobiety, mężczyźni, klienci B2B/B2C itd). To wymaga jednak dobrego przemyślenia punktu 2 – próby i dystrybucji, a potem mądrego analizowania wyników.

5. Za dużo na raz

Nie próbuj jednym badaniem dowiedzieć się wszystkiego. Zbyt wiele pozycji kwestionariusza to spadek konwersji, czyli wskaźnika odpowiedzi, rośnie natomiast liczba ankiet porzuconych w połowie. Nie nadużywaj czasu i cierpliwości respondentów. Kilkadziesiąt pytań w badaniu to nigdy nie jest dobry pomysł. Zacznij od wybrania tych najważniejszych z punktu widzenia głównego celu badawczego i sformułuj je w najprostszy, najbardziej przejrzysty sposób. Zbierz wyniki, przeanalizuj, przemyśl, a potem ewentualnie badaj dalej i poszerzaj lub pogłębiaj.

6. Pytania wielokrotnie złożone

Zbyt skomplikowane pytania – długie, zawiłe, wieloelementowe – to piekło i respondentów, i analityków. Demotywują, rozpraszają, utrudniają zrozumienie intencji, zwiększają ryzyko, że odpowiedź będzie nieadekwatna. Goethe napisał kiedyś: „Szanowny panie hrabio, przepraszam za tak długi list, ale nie miałem czasu, żeby sformułować go krócej.” Pisanie krótkich, a klarownych pozycji testowych nie jest proste – one nie powstają od ręki. Porównuję czasem ten proces do ciosania rzeźby z bloku betonu: najpierw jest masywna forma, ogólny materiał, z którego następnie odcinamy co niepotrzebne, docierając do sedna, ostatecznej formy, istoty pytania.

7. Pytanie matrioszka

Inny rodzaj zbyt długich i nieprzemyślanych pozycji kwestionariuszowych, czyli dwa (lub więcej)pytań w jednym. Przykład: „Czy korzystałaś kiedyś z usługi mobilnego fryzjera i poleciłaś ją potem koleżance?” Możliwe odpowiedzi: Tak, nie. Jeśli respondentka odpowie „tak”, to nadal nie wiesz na które pytanie – o korzystanie z usługi czy o polecenie jej dalej?

8. Pytania zbyt ogólne

czyli takie, które niosą ze sobą ryzyko błędnej – bo zbyt szerokiej interpretacji, dając dane co najmniej niekonkluzywne. Nie każmy respondentom domyślać się o co tak naprawdę chcemy zapytać, ich wyobrażenie może być skrajnie odmienne od zamierzonego. Przykład: badamy wpływ różnych elementów Marketingu Mix (cena, metody promocji, cechy produktu, dystrybucja) na decyzje zakupowe odbiorcy w segmencie suplementów diety. Chcemy dowiedzieć się jak wygląda ścieżka decyzyjna i co jest najważniejszym elementem branym pod uwagę przy wyborze danego farmaceutyku. Wśród pytań pojawia się tabelka z pytaniem: „Jak ważne są dla ciebie poniższe czynniki: oceń w skali 0-6, gdzie 0 to w ogóle nieważne, 6 – bardzo ważne”, a w kolejnych wierszach – poszczególne elementy, takie jak rozpoznawalność marki, opinia znajomych, wygląd opakowania i cena, przy których respondent określa stopień ważności. Pytanie za 50 punktów: co ma na myśli ankietowany, który w wierszu „cena” zaznaczy 6? Z tak pozyskanych danych wiemy jedynie, że cena ma dla niego bardzo duże znaczenie. Ale jaka cena? Najniższa, bo nie chce wydawać pieniędzy na suplementy? Czy może wysoka, bo cena=jakość i bezpieczeństwo, a na zdrowiu się nie oszczędza? No właśnie.

9. Lęk przed pytaniami otwartymi

tymczasem to one, choć pozornie trudniejsze w analizie, mogą być prawdziwą kopalnią insightów o twoich klientach. Badając potrzeby użytkowników staram się zawsze zostawić przestrzeń na swobodne wypowiedzi – jeśli są nieobowiązkowe, wypełnia je zwykle nie więcej niż 5% użytkowników ale zazwyczaj są to bardzo cenne informacje, o które uzupełniam potem kolejne iteracje kwestionariuszy, czy to ankiet, czy wywiadów IDI.

10. Brak wewnętrznej logiki

…i mechanizmów ją wspierających. To nie zawsze jest błąd krytyczny ale warto korzystać z narzędzi umożliwiających stawianie pytań filtrujących lub zależnych od poprzedniej odpowiedzi, np. „Ile masz dzieci?”” Ile mają lat?” „Czy prowadzisz firmę?” „Od jak dawna?” Takie ścieżki pytań uzyskać można np. w narzędziu TypeForm; Google Forms też umożliwia konfigurację mechanizmów logicznych ale w dość ograniczonym stopniu.

11. Nieprzemyślana skala pomiarowa

Odpowiedzi, udzielane przez respondentów, kodowane są zawsze na jakiejś skali. Różne rodzaje skal umożliwiają różne rodzaje wizualizowania danych czy dokonywania na nich różnych operacji – rozróżniania, porządkowania, porównywania, mnożenia lub dzielenia. Każdy kolejny rodzaj skali umożliwia coraz bardziej zaawansowane operacje – plus te same, co skala poprzednia. Treść wypowiedzi swobodnej to skala nominalna, tak samo jak nazwa wykonywanego zawodu, czy rodzaj branży lub odpowiedź „TAK/NIE” – możemy zliczyć częstość występowania poszczególnych odpowiedzi i wybrać najpopularniejszą. Poziom wykształcenia to skala porządkowa – oprócz policzenia częstości, odpowiedzi można też ułożyć w logicznej kolejności od najniższego do najwyższego. Wzrost lub liczba przebiegniętych kilometrów to skala przedziałowa – umożliwia dodatkowo policzenie „o ile bardziej” jeden wynik różni się od drugiego, na przykład o ile kilometrów biegacz poprawił swój poprzedni rekord. I na koniec skala ilorazowa, umożliwiająca najbardziej zaawansowane operacje – pozwala stwierdzić, ile razy jeden wynik różni się od innego: na przykład dochód lub wartość sprzedaży.

Po tym wstępie teoretycznym (niezbędnym!) napiszę tylko, że wybór skali, a zatem rodzaj odpowiedzi na zadane pytania, musi być podyktowany tym, co chcemy z wynikami zrobić: jakim analizom, czyli operacjom matematycznym poddać? Jak je przedstawić wizualnie?

Dlatego tak ważne jest dobre przemyślenie: co ja tak naprawdę chcę zbadać i na co mi to wszystko? Szukam insightów konsumenckich czy chcę twardymi danymi zweryfikować słuszność przyjętego kierunku? A może piszę raport dla mediów, który fajnie byłoby zilustrować atrakcyjnymi wykresami?

12. Nieprzemyślana analiza

Lub jej brak i traktowanie danych surowych jak wyników. Badanie ilościowe nie kończą się z chwilą zamknięcia ankiety – ostatni etap jest równie ważny jak sama konstrukcja kwestionariusza. A ten ostatni etap to nic innego jak… statystyka. Wiem, obiecałam, że będzie łatwo i przystępnie a to okropne słowo na „S” u wielu z nas aktywuje nabyty gdzieś w gimnazjum i utrwalony przez kolejne lata edukacji lęk matematyczny. Jednak prawidłowe wnioskowanie wymaga prawidłowej obróbki danych. Aby mówić o współzmienności zjawisk (na przykład gdy sprawdzamy hipotezę o tym, że użytkownicy z dużych miast chętniej korzystają z naszego sklepu online za pośrednictwem urządzeń mobilnych, natomiast ci z mniejszych miejscowości – z komputerów stacjonarnych) potrzebujemy przynajmniej policzyć korelację. Zrobimy to bez problemu choćby w Google Sheets lub Excelu. Oczywiście, przy nieskomplikowanych celach badawczych wystarczy nam sprawdzenie częstości wystąpień poszczególnych odpowiedzi, rozkłady procentowe i proste wykresy – ale z każdym kolejnym badaniem rośnie ryzyko, że włączy nam się ciekawość badacza i będziemy jednak chcieli posprawdzać związki między danymi, zaprognozować coś, wyjaśnić przy pomocy trzeciej zmiennej, itd. Wtedy odsyłam do źródeł – na przykład podręcznika „Statystyczny drogowskaz” pod redakcją Sylwii Bedyńskiej i Marzeny Cypryańskiej.

13. Brak pilotażu

czyli badania wstępnego, próbnego, przed sformułowaniem docelowego kształtu kwestionariusza ankiety. Oczywiście nie zawsze trzeba, nie zawsze można, zwykle wystarczy dobre przemyślenie i dyskusja, najlepiej w zespole, bo w badaniach co dwie głowy to nie jedna, a co zespół to już w ogóle rewelacja. Ale często pilotaż pomaga wyłapać ostatnie błędy, niejasności i dopracować strukturę i treść badania.

Sporo tego, prawda? Niestety większość popełnianych błędów wynika z przekonania, że prowadząc badanie rynku wystarczy zadać pytanie i przeczytać odpowiedzi.  No więc widzicie, że nie do końca. Istotnie, nie trzeba wiedzy tajemnej i pięciu lat studiów socjologicznych czy kursu metodologicznego aby dobrze badać. Jednak brak przygotowania, robienie ankiety na kolanie to też nienajlepszy pomysł, w myśl zasady „co włożysz, to wyjmiesz” –  „garbage in, garbage out”.

I choć lepiej nie badać wcale niż badać źle i wyciągać mylne wnioski to całym sercem zachęcam do podejmowania prób. Dobre badanie nie musi być ani skomplikowane, ani trudne – i w sumie o tym właśnie jest ten blog 🙂 

Leave a Reply

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *