A/B teszt terve és kiértékelése
Hipotézisből tesztet tervez: mit mérsz, mekkora forgalom kell, meddig fusson, és előre rögzíti, mikor mi számít eredménynek. Ha már vannak adataid, segít kiolvasni őket túlértelmezés nélkül.
Töltsd ki a saját adataiddal
A sárgával jelölt részeket cseréld a saját adataidra.
EllenőrzésCtrl + Enter: másolás
Példa: kitöltve, mintaválasszal
- Teszt tárgya
- Webshop kosároldal: a „Tovább a pénztárhoz” gomb fölé kerül a szállítási díj és a várható érkezés
- Feltevés
- A vevők a pénztárban szembesülnek a szállítási díjjal, és ott lépnek ki
- Alapadatok
- Heti 4200 kosárlátogatás, 31% jut el a rendelésig
- Fő mutató
- Kosárból leadott rendelés aránya
- Eredmények
- 9 nap után: A 2710 látogató, 840 rendelés; B 2695 látogató, 889 rendelés
1. Hipotézis: Ha a szállítási díj és az érkezés már a kosárban látszik, a rendelési arány 31%-ról legalább 33%-ra nő, mert a díj nem a pénztárban éri meglepetésként a vevőt.
3. Minta: 31% körüli aránynál 2 százalékpontos különbség megbízható kimutatásához változatonként nagyságrendileg 8000 látogató kell (95%-os megbízhatóság, 80%-os erő feltételezésével). Kalkulátorral ellenőrizd.
4. Futási idő: heti 4200 látogatóval ez kb. 4 teljes hét.
A mostani eredményről
- A: 31,0%, B: 33,0%. A különbség az elvárt irányba mutat.
- Amit nem állíthatsz: hogy B nyert. 9 nap nem teljes hét, a minta a szükségesnek harmada, és ekkora eltérés ennyi adatnál véletlenből is kijöhet.
- Teendő: fusson tovább a 4. hét végéig, közben ne nézz rá döntési szándékkal.
6. Kockázat: ha a teszt alatt ingyenes szállítási akció indul, az a B változat hatását elmossa.
Szemléltető minta, Claude segítségével készült: azt mutatja, milyen jellegű és felépítésű válaszra számíthatsz. A többi ajánlott eszközzel a prompt várhatóan ugyanígy használható, de nem mindegyikben próbáltuk ki. A te eredményed más lesz. Hogyan készülnek a példák?
Miért működik?
A leggyakoribb hiba, hogy a tesztet akkor állítják le, amikor éppen jól néz ki. A prompt a döntési szabályt előre rögzítteti, és a meglévő eredménynél külön kimondja, mit nem lehet állítani.
A mintaméretnél a modell a számítás menetét mutatja meg, a pontos számot kalkulátorra bízza, mert a fejszámolásban tévedhet.
Mire figyelj?
- A mintaméret-becslést mindig ellenőrizd egy A/B teszt kalkulátorral; a modell számolása nagyságrendi.
- Kis forgalmú oldalon a teszt hónapokig futna. Ilyenkor a vevői interjú vagy a nagyobb, merészebb változtatás többet ér.
- Egyszerre egy dolgot változtass, különben nem tudod, minek köszönhető a különbség.
Folytasd ezekkel
Ugyanabban a beszélgetésben küldd el, a válasz után.
- Írj rövid összefoglalót a vezetőségnek a teszt állásáról, a bizonytalanságot is kimondva.
- Adj öt további tesztötletet a kosároldalra, a várható hatás szerint rangsorolva.
Kapcsolódó promptok
Összes marketing promptKampánystratégia egy oldalon
Üzleti célból visszafelé építi fel a kampányt: mérhető cél, célcsoport, üzenet, csatornák, költségkeret-elosztás és mérési terv. A feltevéseket külön jelöli, hogy lásd, min áll vagy bukik a terv.
Kreatív brief ügynökségnek vagy alkotócsapatnak
Egyoldalas kreatív briefet ír, amelyből egy szövegíró és egy grafikus el tud indulni: egyetlen mondandó, kinek szól, mit gondoljon utána, kötelező elemek. Rákérdez arra, ami a briefedből hiányzik.
Célcsoport-kutatás: interjúterv és kérdéssor
Kutatási tervet és interjúvezetőt ír, amely a vásárlás valódi okait tárja fel: mi indította el a keresést, mivel hasonlították össze, mi tartotta vissza. Sugalmazó kérdések nélkül.
Landing oldal szövegvázlata
Egyetlen célra épülő landing oldal szövege blokkról blokkra: címsor, bizonyíték, válasz a kifogásokra és egyetlen világos felhívás.