Hogyan tett jobb vezetővé az A/B tesztelés a LinkedInnél, a Wealthfrontnál és az eBaynél

Minden vezetői döntést tesztalapúvá kell tenni: kezdjen egy célzott A/B kísérlettel a következő termékmódosításhoz, majd tekintse át a műszerfalon megjelenő eredményeket egy visszatekintő megbeszélésen a csapatával. Ez a megközelítés, amelyet a LinkedInnél, a Wealthfrontnál és az eBaynél alkalmaztak, felhatalmazza az alkalmazottakat, tapasztalatot szereznek arról, hogyan tárják fel az adatok a következő lépéseket, és a tanulságokat egy útmutatóvá alakítják, amely segít előre jelezni a csapatra gyakorolt hatást.

Használjon egy egyszerű ütemtervet a lendület fenntartásához: egy visszatekintést minden kísérlet után, egy műszerfalat a legfontosabb mérőszámokról, és egy életciklust, amely összeköti a teszteket a termékfejlesztés szakaszkapuin.

Konkrét hipotézissel, alapszinttel és meghatározott sikermutatókkal tervezzen meg minden tesztet. Ahol lehetséges, használjon véletlenszerűsítést és egy elkülönített szegmenst a torzítás elkerülése érdekében; biztosítsa az adatok minőségét, és jegyezze fel a tanulságokat egy útmutatóban a jövőbeli döntésekhez. Ha az eredmények hatást mutatnak, eskalálja azt egy szélesebb közönséghez egy megbeszélésen, és tervezzen egy nyomon követő kísérletet a validáláshoz. Ez az ütem biztosítja, hogy a csapatok ne hajszoljanak hiú mutatókat, és a tapasztalatot az adatokkal konkrét cselekvésre váltsák.

Végső menedzserként alakítson néhány kísérletet skálázható szokássá. Vállaljon negyedévente 2-3 kísérletet, párosítson mindegyiket egy műszerfallal és egy visszatekintő összefoglalóval, és ossza meg a megállapításokat egy megbeszélésen, hogy befolyásolja a felvételt, a képzést és az erőforrás-elosztást. Tegye erőssé a csapatokat azáltal, hogy az életciklusokat és a fidji betekintéseket beleszövi a mindennapi döntésekbe. Ez a megközelítés megnehezíti, de világosabbá teszi a nagyobb eredményekhez vezető utat minden érintett alkalmazott számára, és továbbra is felhatalmaz másokat, hogy vezessék saját kísérleteiket, és irányítsák társaikat.

Konkrét forgatókönyv: a kísérletek vezetői gyakorlattá alakítása

Kezdje egyetlen, nagy hatású hipotézissel, amely a csapata egészségéhez és teljesítményéhez kapcsolódik, és futtasson egy 6 hetes pilótát explicit sikerességi kritériumokkal.

Definíció, engedély és tulajdonjog

• Definíció: írja le a hipotézist egy mondatban, és határozza meg a primer, adatokon alapuló mérőszámot a hatás mérésére.
• Engedély: szerezzen felsővezetői támogatást és a csapat jóváhagyását; állítson fel korlátokat a kockázat kezelésére, és győződjön meg arról, hogy gyorsan tud lépni, ha megjelenik a jel.
• Tulajdonjog: jelöljön ki egy vezetőt (gyakran a menedzsert) és egy több funkciós szponzort; a kísérlet a menedzsmentprogramjának látható részévé és az önmegvalósítás részévé válik. Az Ön szerepe és a vezetői réteg között határozza meg a döntési jogokat és az eszkalációs útvonalakat a sebesség és az elszámoltathatóság összehangolása érdekében.

Konkrét lépések

1. Válasszon ki 1-3 nagy hatású kísérletet, amelyek összhangban vannak az egészségügyi mérőszámaival (megtartás, ciklus idő, elkötelezettség). Példa: teszteljen egy egyszerűsített heti helyzetjelentést, hogy 20%-kal csökkentse az újbóli munkát.
2. Adatalapú mérőszámokkal tervezzen: határozza meg a sikerességi küszöböket, kövesse nyomon a hatás jeleit, és döntsön a robusztus mintanagyság alapján történő skálázásról. Használjon egy műszerfalat a kontroll- és a kezelési csoportok összehasonlításához.
3. Fuss 4-6 hétig egy előre regisztrált tervvel: tartalmazzon egy kiindulópontot, egy ciklus közbeni ellenőrzést és egy végső értékelést; gyűjtsön kvantitatív adatokat és kvalitatív jelzéseket a csapatától.
4. Coach és kommunikálj: oszd meg a tanulságokat a csapatoddal és a vezetőkkel tömör, tényeken alapuló formában; tartsd meg a tanulás hangnemét, ne hibáztass, és erősítsd meg a kívánt irányt.
5. Dönts a skálázásról: ha a kísérlet javítja az egészséget és a teljesítményt, foglald a gyakorlatot egy szabványos működési rendbe; ha nem, hagyd abba, és rögzítsd a tanulságot a jövőbeli ciklusokhoz.
6. Skálázz átgondoltan: másold le a megközelítést a szomszédos csapatokban, csak a területspecifikus változókat igazítva; építs fel egy könnyű útmutatót, hogy segíts másoknak.
7. Amíg nem látsz következetes hatást, ismételd meg a folyamatot; a tapasztalatod növekszik és tájékoztatja a következő vezetői tevékenységeidet.

Eszközök és adatok szempontjai

• Használj felmérő eszközöket, telemetriát, projektmetrikákat és önkiszolgáló irányítópultokat az adatok gyűjtéséhez; tartsd átláthatónak és megoszthatónak a döntéseket.
• Vezess egy egyoldalas meghatározást a sikerhez minden kísérlethez; kapcsold össze az üzleti eredményekkel és a csapat egészségének mutatóival.
• Dokumentáld a folyamatot egy élő útmutatóként, amelyet a vezetői láncolat áttekinthet; ez a vezetői eszköztár része lesz, és segít a csapatok közötti skálázásban.
• Közvetlen kapcsolat van a kísérletek és az egészségügyi eredmények között; kövesd mindkét oldalt, hogy elkerüld a túlzott optimalizálást pusztán a teljesítményre.
• Kerüld a hiúsági mutatók függőségét; összpontosíts azokra a mutatókra, amelyek a fenntartható fejlődést és a valós ügyfélértéket tükrözik.

Egy egészséges program jelei

• A csapat kíváncsiságot és elszámoltathatóságot mutat; a döntések adatokon alapulnak, nem dogmákon.
• A vezetők világos értéket látnak; rendszeresek az áttekintések, és látható a hatás a vezetői irányítópultokon.
• Az egészségügyi mutatók stabilak maradnak vagy javulnak a skálázás során; nincs kiégés vagy eltérés a csapatok és a stratégia között.

Valós példa

Egy eredeti megközelítés egy 6 hetes kísérlettel kezdődött a WIP korlátozására és egy heti 30 perces retrospektív bevezetésére; 3 ciklus után a ciklusidő 18%-kal csökkent, a minőségi hibák 12%-kal estek vissza, és a csapat elégedettsége 9 ponttal nőtt egy belső egészségügyi indexen. A gyakorlatot egy középvezető indította el, a vezetési rutin részévé vált, és két termékcsapathoz is eljutott, mint egy ismételhető menedzsment eszköz.

MVP-k definiálása tesztelhető hipotézisekkel és világos sikerkritériumokkal

Definiáld az MVP-ket a legkisebb életképes kísérletként, amely egyetlen hipotézist tesztel egy sprinten belül. Ez szűken tartja a hatókört és felgyorsítja a tanulást, amely tájékoztatja a döntéseket, segítve a vezetőt, hogy hatást érjen el túlzott építés nélkül. Válassz egy olyan utat, amely egy jelentős ügyfélélményre irányul, és egészségügyi jeleket mutat a termék és az üzlet számára.

Fogalmazd meg a hipotézist egyértelmű mondatban: ha megváltoztatjuk az X-et, akkor az Y fog történni a Z felhasználók számára. Ez a definíció megmondja a csapatnak, hogy mit mérjenek és miért számít. Állíts be jó, konkrét sikerkritériumokat: egy elsődleges metrikát, egy célküszöböt és egy időhöz kötött feltételt a befejezés jelzéséhez; határozd meg a mérendő dolgot.

Tervezd meg az adattervet ugyanolyan fegyelemmel: add meg a műszerezést, határozd meg a mintanagyságot és állíts fel leállási szabályokat. Kövesd a teszt állapotát az adatok minőségének, torzításának és a résztvevők áramlásának ellenőrzésével. Ha az elsődleges metrika a szakasz végén eléri a küszöbértékét, továbbléphetsz; ha nem, rögzítsd, mit mond a bizonyíték, és dönts a következő lépésekről.

A prioritás útmutatást ad, hogy melyik MVP-t futtasd először: értékeld a hatást, az erőfeszítést és a kockázatot, és képezd le az ütemtervre. Néhány vezérigazgató kíváncsi, hogyan lehet egyensúlyt teremteni a sebesség és a mélység között. Amikor az idők sebességet követelnek, válassz kisebb téteket; amikor a növekedés a tét, részesítsd előnyben a szélesebb tanulást biztosító kísérleteket. Ez az út segít a vezérigazgatóknak és a menedzsereknek összehangolódni és felhatalmazni a csapatokat a cselekvésre. Egyenlően súlyozzuk a hatást és az erőfeszítést.

Végrehajtás és értékelés: a sprint végén értékeli az eredményeket, eldönti, hogy kitartson, irányt váltson vagy leállítsa az ötletet. Dokumentálja a tanulságokat, hogy azok irányt mutassanak a következő ütemtervi szakaszhoz. Ez a fegyelmezett ciklus támogatja a személyes elszámoltathatóságot, segít a vállalatnak előrelépni, és világos képet fest a felsővezetőknek.

Valódi felhasználói értéket feltáró mérőszámok kiválasztása a hiúsági mutatókkal szemben

Válasszon egyetlen Északi Csillag mérőszámot, amely a felhasználói értéket közvetlenül az eredményekhez köti, és támassza alá két megvalósítható, vezető indikátorral, amelyeket hetente befolyásolhat. A csapat tagjai a műszerfalakon lássák a hatást, ne csak elmondják nekik, hogy a számok megváltoztak.

Határozza meg az értéket konkrétan, és fordítsa le egy mérőszámba, amelyet folyamatosan mérhet. Kövesse például a regisztrációkat, a hét napon belüli aktiválást és a háromhetes megtartást, mint valódi értékjelzőket a hiúsági számok helyett, és tartson fenn egy egyszerű megfeleltetést a felhasználói eredményekhez. A mérőszámok, ha megfelelően használják őket, irányítják a termékkel kapcsolatos döntéseket. Kerülje a hiúsági számokkal való játszadozást; használja az adatokat a döntések irányításához.

Rendelje hozzá az egyes mérőszámokat a felhasználói útvonal egy lépéséhez, és hozzon létre egy kanban táblát a kísérletek és bevezetések irányításához. Tartsa a munkát kicsiben, korlátozza a WIP-et, és futtasson rövid ciklusokat, hogy a meglátások frissek maradjanak. Mindent egybevetve, ez a struktúra csökkenti a zajt és láthatóvá teszi a fejlődést.

Éljen túl a skálázási fázist megbízható műszerekkel és tiszta kóddal, hogy a kísérletezés tüze égve maradjon. Ha a lendület alábbhagy, Molly és Sean retrospektívet vezetnek az ütemterv kiigazításához és a fontos dolgok új prioritásként való kezeléséhez.

A retrospektívek a tanulságokat cselekvéssé alakítják; hívja meg az egész csapatot, hogy vizsgálják felül, mi működött, mi nem, és miért. Ez a munkamenet megerősíti az értékeket, összehangolja a prioritásokat, és közvetlenül táplálja a következő kísérletek sorát.

Én személy szerint a mérőszámokat a termékterületekhez rendelem, és rövid olvasószüneteket tartok a csapattal, hogy értelmezzük, mit csinálnak valójában a felhasználók, nem pedig azt, hogy hogy néznek ki a számok.

Két-három gyakorlati vezető indikátor szorosan tartja a fókuszt: aktiválási arány regisztráció után, napok az első értékig és az ismételt használat. Rendeljen egyetlen tulajdonost minden mérőszámhoz, tűzzön ki egy célt, és vizsgálja felül hetente, biztosítva, hogy az eredmények kézzelfogható felhasználói értéket hajtsanak, nem pedig hiúsági jeleket.

Persze, a fegyelem kifizetődik a világos ütemtervekben és a hiteles párbeszédben az érdekelt felekkel; amikor az emberek megértik a mit és a miértet, a skálázás simábbá válik, és a döntéseket a valós felhasználói eredményekkel alátámasztva érezzük.

Tervezési minták nagyméretű tesztekhez: randomizálás, ellenőrzések és védőkorlátok

Minden nagyméretű tesztet kezdjen egy előre regisztrált randomizálási tervvel, egyértelműen meghatározott variációcsoportokkal és védőkorlátokkal, amelyek automatikusan visszagurulnak, ha egy biztonsági mérőszám romlik. A mérnöki csapatok a tervezési szakaszban implementálják ezeket az ellenőrzéseket, így a piac és az alkalmazotti élmény stabil marad a bevezetés során, növelve a fegyelmezett kísérletezés előnyeit és növelve a megbízhatóságot, ami segít elkerülni a csalódott érdekelt feleket.

A randomizálást piac, régió, forgalmi forrás és eszköz szerint kell rétegezni, hogy biztosítsák a kitettség egyensúlyát a közönségük körében. Nagyméretű tesztekhez legalább 50 000–100 000 felhasználót célozzunk meg ágonként, hogy 5–8%-os emelkedést észleljünk 80%-os hatásfokkal 95%-os bizalom mellett. Használjon blokkolást és újrarandomizálást a sodródás korlátozására a forgalmi rámpák indításakor. Az ezeket a mintákat használó mérnökök felgyorsítják a tanulást és lerövidítik a bevezetési időt.

Ellenőrzések: futtasson egy robusztus alapvonal ágat, amely tükrözi a jelenlegi éles üzemeltetési élményt; izolálja a funkciózászló hatását; futtasson több ellenőrző variációt, ha szükséges, hogy elkülönítse a zajt a jeltől. Ellenőrizze, hogy a randomizálás összehasonlítható csoportokat hoz-e létre; ha probléma merül fel, izolálja gyorsan a fejlesztési sebesség megőrzése érdekében.

Korlátok: előre meghatározott döntési szabályok és automatikus védőintézkedések. Ha gyorsabb, megbízhatóbb döntéseket szeretne, a korlátok egyértelmű eszkalációs utat biztosítanak. Állítson be stop szabályokat a biztonsági szabálysértésekhez, és kérjen kézi felülvizsgálatot, ha egy becsült emelés átlép egy küszöbértéket. Gondoskodjon arról, hogy a visszaállítások automatikusan történjenek mérnöki beavatkozás nélkül, és naplózzon minden váltást, hogy a főnökök számára világos legyen, mi történt.

Működési ritmus és kultúra: műszeres tesztek telemetriával, biztosítsa, hogy az adatok a mérnökök számára elérhetők legyenek műszerfalak segítségével; a bevezetés után végezzen utólagos elemzéseket minden sikertelen teszten; hangolja össze a szükségleteket és felelősségeket a termék-, tervező-, mérnöki és adattudományi területeken. A teljes diszciplína korán kezdődött, a kísérletezés beépült a fejlesztésbe, és a menedzserek láthatják, hogy csapataik hogyan használják fel az eredményeket a szállítási sebesség növelésére és a kockázatok csökkentésére.

A kör bezárása: az eredmények átalakítása ütemtervekké, coachinggá és diszciplínává

Kezdje azzal, hogy minden eredményt egy problémamegfogalmazássá, egy hatásbecsléssé és egy prioritást élvező, egyértelmű felelőssel rendelkező hátralék elemmé alakít át. Határozza meg a szükséges erőforrásokat, és tűzzön ki egy konkrét kibocsátási célt a scope creep elkerülése érdekében. Használjon egy könnyű pontozási modellt a hatások és erőfeszítések összehasonlítására, és annak eldöntésére, hogy mit vigyen előre először.

Építsen egy hat-nyolc hetes ütemtervet, amely összekapcsolja a kísérletezést a kibocsátásokkal. Minden kibocsátáshoz határozzon meg 2-4 kísérletet, sikerességi kritériumokat és egy go/no-go döntést. Hozzon létre egy adat tervet, egy egyszerű előrejelzést és egyértelmű felelőst minden elemhez a számonkérhetőség és a gyorsaság biztosítása érdekében.

A coaching a vezetőkkel kezdődik, akik heti üléseket tartanak az eredmények áttekintésére, a becslések kiigazítására és a legjobb gyakorlatok megerősítésére. Használja a munkamenetet arra, hogy az adatokat gyakorlati coaching pillanatokra fordítsa le, és idővel növelje a csapat képességeit.

Ossza meg az eredményeket a vezérigazgatókkal és más érdekelt felekkel egy tömör frissítésen keresztül, amely kiemeli a hatást, a kockázatot és a továbblépéshez szükségeseket. Tartsa a narratívát szorosan: kösse össze a problémát az ütemterv szerinti cselekvéssel, és magyarázzon el minden kompromisszumot egyértelműen.

A főoldali munka konkrét példává válik: fogalmazza meg a változást olyan problémaként, mint az elkötelezettség növelése, vázolja fel a minimális változtatásokat, jegyezze fel a becslést és a szükséges erőforrásokat, és adja meg a bevezetési dátumot. Tesztelje azonos méretű kohorszokkal, figyelje a korai jeleket, és csak akkor eszkaláljon, ha a jel következetes.

Szándék és fegyelem: hozzon létre egyetlen forrásból származó igazság dokumentumot, amely nyomon követi a problémát, a becslést, az erőforrásokat, a kísérletezést, a kibocsátásokat és az eredményeket. Tartsa naprakészen, és rendszeres időközönként tekintse át, hogy fenntartsa a fókuszt és a lendületet.

Mozgasson néhány gyors győzelmet a pipeline-ba, hogy bizalmat és lendületet építsen. Ha nem biztos a hatásban, futtasson egy kisebb, kis kockázatú tesztet, majd csak egyértelmű bizonyítékokkal és érvényesített útvonallal lépjen tovább. Az erőteljes tanulási, coaching és fegyelmezett végrehajtási ciklus hozza meg a végső jutalmat: jobb termékeket a felhasználók számára és képzettebb vezetőket.

Három pragmatikus tanulság a LinkedIn, a Wealthfront és az eBay kísérleteiből

Kezdje egy fegyelmezett, becslésmentes kísérleti kadenciával, amely az erőforrásokat a gyorsan megfigyelhető eredményekhez köti. Építsen kis, végponttól végpontig terjedő teszteket a mérnöki és termék csapatokban, és futtassa azokat heti ciklusokban. A gyakorlatban törekedjen 5 napos tanulási ciklusokra és egy 2 hetes becslésmentes sprintre a tesztelt dolog megerősítésére vagy elvetésére; ez a kadencia általában 40%-kal csökkenti a tervezési költségeket, és megduplázza a tanulás sebességét a mérnökök és termékmenedzserek karrierútja szempontjából.

1. lecke: Építs szoros kapcsolatokat a mérnöki munka, a termék és a felhasználókkal folytatott beszélgetések között, hogy felgyorsítsd az összehangolást. A tesztelendő dolognak egyetlen hipotézisnek kell lennie, nem egy csomagnak; kövess nyomon egy kis metrikakészletet, például az aktiválási arányt és a műszaki adósság egészségét, és figyeld meg a hatást egy közös irányítópulton. Krieger egy konkrét teszttel vezeti a csoportot, és a tanulás túlmutat egyetlen funkción.

2. lecke: Használj univerzális sablonokat és hipotézislistákat a kísérletek szabványosításához, kerüld el a becslések hiányából adódó eltéréseket, és hasonlítsd össze az eredményeket a versenytársak jeleivel. Egy tipikus tesztportfólió 6-8 tételt tartalmazhat explicit go/no-go kritériumokkal, valamint adatokkal alátámasztott döntéseket a skálázásról. Ez a megközelítés a ciklusidő 20-30%-át takarítja meg a csapatoknak, és egyértelműbbé teszi az erőforrás-gazdálkodási döntéseket a teljes termékhez és technológiai stackhez.

3. lecke: Óvd az egészséget és skálázd a meglátásokat a vállalaton belül az eredeti tanulságok dokumentálásával, a beszélgetések és interakciók megismételhető gyakorlatokká alakításával, és a teljes, skálázható átadást biztosítva másoknak.