Seriál UX/UI analýza: 5) AB testování a optimalizace

21. 12. 2023

V tomto díle seriálu UX/UI analýza si vysvětlíme, jak probíhá AB testování a následná optimalizace aplikací.

Myslíte si, že víte, co je pro Váš produkt nejlepší? Jenže je velká pravděpodobnost, že to nevíte.

Proč?

Protože každý z nás pracuje s více jak 185 kognitivními zkresleními. Výzkumy taktéž ukazují, že průměrně se mýlíme 3-6 krát za hodinu.

Váš produkt začíná žít svým samostatným životem v momentě, kdy ho začnou používat uživatelé. V té chvíli je důležité myslet na uživatele a ne na vlastní předpoklady a přání – jinak na produktu nevyděláte, protože nebude sloužit lidem, ale jen Vašemu egu.

UX analýza

Máte zájem o UX analýzu, která zlepší váš byznys? Neváhejte nás kontaktovat.

Chci konzultaci

My proto UX analýzou odhalujeme skutečný svět uvnitř Vaší aplikace – ten, který se neodvíjí od zkreslení a předpokladů.

Tento svět Vašeho produktu a Vašich uživatelů zkoumáme přes data a výsledky A/B testujeme – abychom se vyhnuli zase našim chybám.

A/B test nám pomáhá „poslouchat“ uživatele

Před začátkem každého A/B testu si musíme vyjasnit, co chceme testovat, čeho chceme dosáhnout a jak bude A/B test probíhat.

Co potřebujeme, abychom testovali a neexperimentovali?

hypotézu

“když změníme obrázek na první obrazovce, zvýšíme konverzní poměr průchodu onboardingu alespoň o 5 %.”

jasné měřítko úspěchu (KPI – key performance indicator)

“konverzní poměr průchodu onboardingu se zvýší o 5 %”

představu, jak dlouho a na jakém vzorku musí test běžet, aby byl statisticky významný

“test bude běžet 14 dní na 10 % uživatelů, protože zlepšení 3 – 5 % už v dané chvíli bude mít statistickou významnost”

vydefinujeme si, které metriky (danger metric) můžeme pokusem v aplikaci nechtěně ovlivnit

“změna obrázku sice zlepší onboarding, ale může negativně ovlivnit míru zapojení uživatelů”

Co je A/B test:

UX výzkumná metoda
experiment, který statisticky testuje hypotézu jedné proměnné na dvou vzorcích (two-sample hypothesis testing)
rozdíl mezi vzorky bude, nebo nebude mít statistickou významnost (v případě, že bude, je test směrodatný a ukáže nám, která verze bude pro náš produkt efektivní)

Jak probíhá naše A/B testování?

Pobavíme se s vámi: na základě Vašich odpovědí na naše otázky (více jsme o tom hovořili v předešlém dílu seriálu Audit krok za krokem) si vytvoříme představu, co od svého produktu byznysově očekáváte a jak podle vás funguje.
Nasadíme produktovou analytiku – navrhneme, co a jak měřit, které KPI (key performance indicator) nám ukáže, že verze A je lepší než verze B, nebo naopak.
Prozkoumáme data o vašich uživatelích, o jejich vzorcích nákupu a chování.
Vytvoříme hypotézu – díky nasazeným datům zjistíme, kde může problém ve vaší verzi A aktuálně vznikat.
Realizujeme verzi B, která má zlepšit KPI, s naším UX týmem na základě zkušeností a dat.
Ověříme si na jakém vzorku uživatelů jste ochotni testovat, jak dlouho a jaký vzorek potřebujeme, abychom dosáhli statistické významnosti pro potřebnou změnu v KPI (rádi začínáme na co nejmenším možném počtu uživatelů pro případ, že by se konverzní poměr nezlepšoval).
Vámi potvrzenou verzi B nasazujeme i s produktovou analytikou, která nám pomůže A/B test vyhodnotit.
Po ukončení experimentu Vás informujeme o výsledcích.
V případě, že se nám hypotéza potvrdila a je statisticky významná, nasazujeme změnu na více procent uživatelů a neustále sledujeme, co se v aplikaci děje.
Naopak, pokud se hypotéza nepotvrdí, považujeme to též za úspěch – vyhnuli jsme se zhoršení konverzního poměru nebo zbytečným změnám, které by negativně dopadly na uživatele, pokud bychom verzi B nasadili.

* A/B test, který nepotvrdí hypotézu je vlastně důkazem, že jsme udělali dobré rozhodnutí. Bez A/B testu bychom nasadili to, co jsme vymysleli a mohli se jen divit, že to není lepší řešení.

Naše přemýšlení o aplikaci a návrh řešení problémů se může lišit od přemýšlení uživatelů! Proto je důležité hypotézy ověřovat v A/B testu na malém vzorku a v případě úspěchu nasazovat. Postupným nasazováním snižujeme riziko ztráty na minimum.

Jedním A/B testem to nemusí skončit. Jsou případy, kdy jedna změna přinese ovoce jako se to stalo na aplikaci Záchranka, ale v mnohých případech můžeme optimalizovat dále a aplikaci pořádně “vytunit”.

Další díly seriálu: