Her liderlik kararını test odaklı hale getirin: Bir sonraki ürün değişikliği için odaklanmış bir A/B deneyiyle başlayın, ardından ekibinizle bir retrospektif toplantısında kontrol paneli sonuçlarını gözden geçirin. LinkedIn, Wealthfront ve eBay'de uygulanan bu yaklaşım, çalışanları güçlendirir, verilerin sonraki adımları nasıl ortaya çıkardığını deneyimler ve öğrenimleri, ekip genelinde etkiyi tahmin etmenize yardımcı olan bir rehbere dönüştürür.
Hızı korumak için basit bir ritim kullanın: Her deneyden sonra bir retrospektif, temel metriklerin kontrol paneli ve testleri ürün çalışmasındaki aşama geçitlerine bağlayan bir yaşam döngüsü. Fidji'de, varsayımları pencere içinde bitirecek şekilde boyutlandırılmış 2 haftalık sprintler yaptık ve bu, ekiplerin paydaşları aşırı yüklemeden ilerleme kaydetmelerine yardımcı oldu; süreç, sonuçları tahmin edilebilir hale getirdi ve çalışan ekipler için somut öğrenme sağladı.
Her testi net bir hipotez, bir temel ve tanımlanmış başarı ölçütleri etrafında tasarlayın. Mümkün olduğunca rastgeleleştirmeyi ve yanlılığı önlemek için bir tutma segmenti kullanın; veri kalitesini sağlayın ve öğrenimleri gelecekteki kararlar için bir rehberde kaydedin. Sonuçlar etki gösterdiğinde, bir toplantıda daha geniş bir kitleye iletin ve doğrulamak için takip deneyleri planlayın. Bu ritim, ekiplerin gösteriş ölçütlerinin peşinde olmaması ve verilerle deneyimi somut eylemlere dönüştürmesini sağlar.
Nihai yönetici olarak, bir avuç deneyi ölçeklenebilir bir alışkanlığa dönüştürün. Üç ayda bir 2-3 deney yapmayı taahhüt edin, her birini bir kontrol paneli ve bir retrospektif özetle eşleştirin ve bulguları işe alma, eğitim ve kaynak tahsisini etkilemek için bir toplantıda paylaşın. Yaşam döngülerini ve fidji içgörülerini günlük kararlara dahil ederek ekipleri güçlü hale getirin. Bu yaklaşım, daha büyük sonuçlara giden yolu her çalışan için daha zor ama daha net hale getirir ve başkalarının kendi deneylerine liderlik etmeleri ve akranlarına rehberlik etmeleri için onları güçlendirmeye devam etmenizi sağlar.
Somut oyun kitabı: deneyleri liderlik pratiğine dönüştürmek
Ekibinizin sağlığı ve performansıyla bağlantılı tek, yüksek etkili bir hipotezle başlayın ve açık başarı kriterleriyle 6 haftalık bir pilot uygulayın.
Tanım, izin ve sahiplik
- Tanım: Hipotezi tek bir cümleyle yazın ve etkiyi ölçmek için birincil veri odaklı metriği belirtin.
- İzin: Üst düzey sponsorluk ve ekip desteğini sağlayın; riski yönetmek ve sinyal göründüğünde hızlı hareket edebilmenizi sağlamak için koruyucu önlemler belirleyin.
- Sahiplik: Bir lider (genellikle yönetici) ve çapraz işlevli bir sponsor atayın; deney, yönetim gündeminizin ve kendi kendini güçlendirmenizin görünür bir parçası haline gelir. Rolünüz ve yönetici katmanı arasında, hızı ve hesap verebilirliği uyumlu tutmak için karar haklarını ve yükseltme yollarını tanımlayın.
Somut adımlar
- Sağlık metriklerinizle (elde tutma, döngü süresi, katılım) uyumlu 1-3 yüksek kaldıraçlı deney seçin. Örnek: Yeniden işleme %20 oranında azaltmak için basit bir haftalık toplantıyı test edin.
- Veri odaklı metriklerle tasarlayın: Başarı eşiklerini tanımlayın, etki belirtilerini izleyin ve sağlam örneklem büyüklüğüne göre ölçeklemeye karar verin. Kontrol ve tedavi gruplarını karşılaştırmak için bir kontrol paneli kullanın.
- Önceden kaydedilmiş bir planla 4-6 hafta boyunca uygulayın: bir başlangıç noktası, döngü ortası kontrolü ve son değerlendirme ekleyin; ekibinizden hem nicel verileri hem de nitel sinyalleri toplayın.
- Koçluk yapın ve iletişim kurun: kazanımları ekibinizle ve CEO'larla kısa ve olgusal bir biçimde paylaşın; suçlama değil, öğrenme tonunu koruyun ve istediğiniz yörüngeyi güçlendirin.
- Ölçeklendirmeye karar verin: deney sağlık ve performansı artırırsa, uygulamayı standart bir işletim ritmine dönüştürün; değilse, durdurun ve içgörüyü gelecekteki döngüler için yakalayın.
- Düşünceli bir şekilde ölçeklendirin: yaklaşımı bitişik ekiplerde tekrarlayın, yalnızca alana özgü değişkenleri uyarlayın; başkalarına yardımcı olmak için hafif bir oyun kitabı oluşturun.
- Tutarlı bir etki görene kadar süreç üzerinde yineleme yapın; deneyiminiz büyür ve sonraki liderlik eylemlerinizi bilgilendirir.
Araçlar ve veri hususları
- Veri toplamak için anket araçlarını, telemetriyi, proje metriklerini ve self servis panoları kullanın; kararları şeffaf ve paylaşılabilir tutun.
- Her deney için bir sayfalık bir başarı tanımı tutun; iş sonuçlarına ve ekip sağlığı göstergelerine bağlayın.
- Süreci, yönetim zincirinizin inceleyebileceği canlı bir kılavuz olarak belgeleyin; bu, liderlik araç setinizin bir parçası haline gelir ve ekipler arasında ölçeklendirmeye yardımcı olur.
- Deneyler ve sağlık sonuçları arasında doğrudan bir bağlantı vardır; yalnızca çıktı için aşırı optimizasyondan kaçınmak için her iki tarafı da takip edin.
- Gösteriş metriklerine bağımlı olmaktan kaçının; sürdürülebilir iyileşmeyi ve gerçek müşteri değerini yansıtan metriklere odaklanın.
Sağlıklı bir programın belirtileri
- Ekip merak ve sorumluluk gösterir; kararlar dogmaya değil, verilere dayalıdır.
- Yöneticiler net bir değer görüyor; incelemelerin bir temposu ve yönetim panolarında görünür bir etkisi var.
- Ölçeklendikçe sağlık metrikleri sabit kalır veya iyileşir; ekipler ve strateji arasında tükenmişlik veya uyumsuzluk yoktur.
Gerçek dünya örneği
Orijinal bir yaklaşım, WIP'i sınırlamak ve haftalık 30 dakikalık bir retrospektif tanıtmak için 6 haftalık bir deneyle başladı; 3 döngüden sonra, döngü süresi %18 düştü, kalite hataları %12 azaldı ve ekip memnuniyeti dahili bir sağlık endeksinde 9 puan arttı. Uygulama, orta düzey bir yönetici tarafından başlatıldı, liderlik rutininin bir parçası haline geldi ve tekrarlanabilir bir yönetim aracı olarak iki ürün ekibine yayıldı.
Test edilebilir hipotezler ve net başarı kriterleri ile MVP'leri tanımlama
MVP'leri, bir sprint içinde tek bir hipotezi test eden en küçük uygulanabilir deney olarak tanımlayın. Bu, kapsamı dar tutar ve kararları bilgilendiren öğrenmeyi hızlandırır, yöneticinin aşırı inşa etmeden etki arayışına girmesine yardımcı olur. Anlamlı bir müşteri sonucunu hedefleyen ve ürün ve işletme için sağlık sinyalleri gösteren bir rota seçin.
Hipotezi tek bir net cümle içinde çerçeveleyin: X'i değiştirirsek, Y Z kullanıcıları için gerçekleşecektir. Bu tanım, ekibe neyi ölçeceğini ve neden önemli olduğunu söyler. İyi, somut başarı kriterleri belirleyin: birincil bir metrik, bir hedef eşik ve tamamlanmayı işaretleyecek zamana bağlı bir koşul; ölçtüğünüz şeyi tanımlayın.
Veri planını aynı disiplinle tasarlayın: enstrümantasyonu belirtin, örneklem büyüklüğünü belirleyin ve durdurma kurallarını belirleyin. Veri kalitesini, yanlılığı ve katılımcı akışını kontrol ederek testin sağlığını takip edin. Birincil metrik aşamasının sonunda eşiğine ulaşırsa, devam edebilirsiniz; değilse, kanıtların ne söylediğini kaydedin ve sonraki adımlara karar verin.
Önceliklendirme, hangi MVP'nin ilk çalıştırılacağını yönlendirir: etkiyi, çabayı ve riski değerlendirin ve yol haritasına eşleyin. Bazı CEO'lar hız ve derinliği nasıl dengeleyeceklerini merak ediyor. Zamanlar hız gerektirdiğinde, daha küçük bahisler seçin; büyüme söz konusu olduğunda, daha geniş öğrenime sahip deneyleri tercih edin. Bu rota, CEO'ların ve yöneticilerin uyumlu kalmasına yardımcı olur ve ekiplerin harekete geçmesini sağlar. Etkiyi ve çabayı eşit olarak tartıyoruz.
Yürütme ve değerlendirme: Sprint sonunda, sonuçları değerlendirir, devam etmeye, yön değiştirmeye veya fikri sonlandırmaya karar verir. Bir sonraki yol haritası aşamasına rehberlik etmek için öğrenilenleri belgeleyin. Bu disiplinli döngü, kişisel hesap verebilirliği destekler, şirketin ilerlemesine yardımcı olur ve üst düzey yöneticilere net bir hikaye anlatır.
Gösterişli sayılar yerine gerçek kullanıcı değerini ortaya çıkaran metrikleri seçme
Kullanıcı değerini doğrudan sonuçlara bağlayan tek bir Kuzey Yıldızı metriği seçin ve bunu haftalık olarak etkileyebileceğiniz iki uygulanabilir öncü göstergeyle destekleyin. Ekipteki kişiler, sayıların değiştiği sadece söylenmek yerine, gösterge panolarında etkiyi görmelidir.
Değeri somut terimlerle tanımlayın ve sürekli olarak ölçebileceğiniz bir metriğe dönüştürün. Örneğin, gösterişli sayılar yerine gerçek değer sinyalleri olarak kayıtları, yedi gün içindeki aktivasyonu ve üç haftalık elde tutmayı takip edin ve kullanıcı sonuçlarına basit bir eşleme sağlayın. Metrikler, doğru kullanıldığında, ürün kararlarına rehberlik eder. Gösterişli sayılarla oynamaktan kaçının; kararlara rehberlik etmek için verileri kullanın.
Her bir metriği bir kullanıcı yolculuğu adımına eşleyin ve deneyleri ve kullanıma sunmaları yönetmek için bir kanban tahtası oluşturun. İşi küçük tutun, devam eden işleri sınırlayın ve kısa döngüler çalıştırın, böylece içgörüler taze kalır. Topluca, bu yapı gürültüyü azaltır ve ilerlemeyi görünür kılar.
Deney ateşini yanık tutmak için güvenilir enstrümantasyon ve temiz kod ile ölçeklendirme aşamasına göğüs gerin. Momentum azalırsa, molly ve sean, yol haritasını ayarlamak ve önemli olanı yeniden önceliklendirmek için geriye dönük bir değerlendirme yapar.
Geriye dönük değerlendirmeler, öğrenilenleri eyleme dönüştürür; neyin işe yaradığını, neyin yaramadığını ve nedenini gözden geçirmek için tüm ekibi davet edin. Bu oturum değerleri pekiştirir, öncelikleri hizalar ve doğrudan bir sonraki deney setine katkıda bulunur.
Kişisel olarak, metrikleri ürün alanlarına eşliyorum ve kullanıcıların sayıların nasıl göründüğüne değil, gerçekte ne yaptığına yorumlamak için ekiple kısa okuma oturumları düzenliyorum.
İki ila üç pratik öncü gösterge odağı sıkı tutar: kayıtlardan sonraki aktivasyon oranı, ilk değere ulaşma süresi ve tekrar kullanımı. Her bir metriğe tek bir sahip atayın, bir hedef belirleyin ve haftalık olarak gözden geçirin, sonuçların gösterişli sinyaller yerine somut kullanıcı değeri sağladığından emin olun.
Elbette, disiplin, paydaşlarla net yol haritaları ve güvenilir konuşmalarla karşılığını verir; kişiler neyi ve nedenini anladığında, ölçeklendirme daha sorunsuz hale gelir ve kararlar gerçek kullanıcı sonuçlarına dayalı hissedilir.
Büyük ölçekli testler için tasarım kalıpları: rastgeleleştirme, kontroller ve koruma rayları
Her büyük ölçekli teste önceden kaydedilmiş bir rastgeleleştirme planı, açıkça tanımlanmış varyant grupları ve bir güvenlik metriği kötüleşirse otomatik olarak geri dönecek koruma rayları ile başlayın. Mühendislik ekipleri, piyasa ve çalışan deneyiminin lansman sırasında istikrarlı kalması, disiplinli deneylemenin faydalarını artırması ve güvenilirliği artırması ve bu da hayal kırıklığına uğramış paydaşlardan kaçınmaya yardımcı olması için bu kontrolleri tasarım aşamasında uygular.
Rastgeleleştirme, izleyici kitleleri arasında maruz kalma dengesini sağlamak için pazar, bölge, trafik kaynağı ve cihazlara göre sınıflandırılmalıdır. Büyük testler için, %95 güvenle %80 güçle %5-8'lik bir artışı tespit etmek için her kol için en az 50.000-100.000 kullanıcıyı hedefleyin. Trafik artışları başladığında sapmayı sınırlamak için engelleme ve yeniden rastgeleştirme kullanın. Bu kalıpları kullanan mühendisler öğrenmeyi hızlandırır ve lansman süresini kısaltır.
Kontroller: mevcut üretim deneyimini yansıtan sağlam bir temel kolu çalıştırın; özellik bayrağının etkisini izole edin; sinyali gürültüden ayırmak için gerekirse birden fazla kontrol varyantı çalıştırın. Rastgeleleştirmenin karşılaştırılabilir gruplar oluşturduğunu doğrulayın; bir sorun ortaya çıkarsa, geliştirme hızını korumak için hızla izole edin.
Koruma rayları: önceden belirlenmiş karar kurallarını ve otomatik güvenlik önlemlerini tanımlayın. Daha hızlı, güvenilir kararlar istiyorsanız, koruma rayları net bir yükseltme yolu sağlar. Güvenlik ihlalleri için durdurma kuralları belirleyin ve bir kaldırma tahmini bir eşiği aşarsa manuel inceleme isteyin. Geri almaların mühendis müdahalesi olmadan otomatik olarak gerçekleştiğinden emin olun ve ne olduğunu patronlara açıkça anlatmak için her geçişi günlüğe kaydedin.
Çalışma ritmi ve kültürü: testleri telemetri ile donatın, gösterge panolarını kullanarak verilerin mühendislerin kullanımına sunulmasını sağlayın; lansmandan sonra, başarısız olan her testte post-mortem çalışması yapın; ürün, tasarım, mühendislik ve veri bilimi genelinde ihtiyaçları ve sorumlulukları hizalayın. Tam disiplin erken başladı, deneme geliştirme sürecine dahil edildi ve yöneticiler ekiplerinin bulguları teslimat hızını artırmak ve riski azaltmak için nasıl kullandığını görebilir.
Döngüyü kapatmak: sonuçları yol haritalarına, koçluğa ve disipline dönüştürmek
Her sonucu bir problem ifadesine, etki tahminine ve net sahibi olan öncelikli bir iş birimi öğesine dönüştürerek başlayın. Gerekli kaynakları tanımlayın ve kapsam kaymasını önlemek için somut bir yayın hedefi belirleyin. Etkiyi ve çabayı karşılaştırmak ve ilk önce neyin ilerleyeceğine karar vermek için hafif bir puanlama modeli kullanın.
Denemeyi yayınlara bağlayan altı ila sekiz haftalık bir yol haritası oluşturun. Her sürüm için 2-4 deney, başarı kriterleri ve bir git/gitme kararı belirtin. Sorumluluk ve hızı sağlamak için her bir öğe için bir veri planı, basit bir tahmin ve net bir sahip belirleyin.
Koçluk, sonuçları gözden geçirmek, tahmini ayarlamak ve en iyi uygulamaları güçlendirmek için haftalık bir toplantı yapan yöneticilerle başlar. Verileri pratik koçluk anlarına dönüştürmek ve ekibin yeteneğini zaman içinde yükseltmek için oturumu kullanın.
Etkiyi, riski ve devam etmek için gerekenleri vurgulayan özlü bir güncelleme aracılığıyla bulguları CEO'lar ve diğer paydaşlarla paylaşın. Anlatıyı sıkı tutun: problemden yol haritası eylemine kadar noktaları birleştirin ve olası tavizleri açıkça açıklayın.
Ana sayfa çalışması somut bir örnek haline gelir: değişikliği etkileşimi artırmak gibi bir sorun olarak çerçevelendirin, minimum değişiklikleri belirtin, tahmini ve gerekli kaynakları not edin ve yayın tarihini belirtin. Eşit büyüklükteki kohortlarla test edin, erken sinyalleri izleyin ve yalnızca sinyal tutarlı olduğunda yükseltin.
Niyet ve disiplin: sorunu, tahmini, kaynakları, denemeyi, yayınları ve sonuçları izleyen tek bir doğruluk kaynağı belgesi oluşturun. Odaklanmayı ve ivmeyi korumak için güncel tutun ve düzenli aralıklarla gözden geçirin.
Güven ve ivme oluşturmak için bazı hızlı kazançları ardışık düzene taşıyın. Etkiden emin değilseniz, az riskli daha küçük bir test yapın, ardından yalnızca net kanıt ve doğrulanmış bir yolla ilerleyin. Güçlü bir öğrenme, koçluk ve disiplinli uygulama döngüsü, nihai getiriyi sağlar: kullanıcılar için daha iyi ürünler ve daha yetenekli yöneticiler.
LinkedIn, Wealthfront ve eBay deneylerinden elde edilen üç pragmatik ders
Kaynakları hızlı, gözlemlenebilir sonuçlara bağlayan disiplinli bir tahminsiz deney ritmiyle başlayın. Mühendislik ve ürün ekipleri arasında küçük, uçtan uca testler oluşturun ve bunları haftalık döngülerde çalıştırın. Uygulamada, test altındaki şeyi teyit etmek veya reddetmek için 5 günlük öğrenme döngülerini ve 2 haftalık tahminsiz sprintleri hedefleyin; bu ritim genellikle planlama maliyetini %40 azaltır ve mühendislerin ve ürün yöneticilerinin kariyer yolu için öğrenme hızını ikiye katlar.
Ders 1: Uyum sağlamayı hızlandırmak için mühendislik, ürün ve kullanıcılarla yapılan konuşmalar arasında sıkı bağlantılar kurun. Test edilecek şey, bir demet değil, tek bir hipotez olmalı; etkinleştirme oranı ve teknik borcun sağlığı gibi küçük bir metrik kümesini izleyin ve ortak bir panelde etkiyi gözlemleyin. Krieger, somut bir testle gruba liderlik ediyor ve öğrenme tek bir fonksiyonun ötesine geçiyor.
Ders 2: Deneyleri standartlaştırmak, tahminsizlik uyumsuzluğundan kaçınmak ve sonuçları rakip sinyallerine karşı karşılaştırmak için evrensel şablonlar ve hipotez listeleri kullanın. Tipik bir test portföyü, açık gitme/gitmeme kriterlerine sahip 6-8 madde ve neyin ölçekleneceğine dair veriye dayalı kararlar içerebilir. Bu yaklaşım, ekiplerin döngü süresinin %20-30'unu tasarruf ettirir ve tüm ürün ve teknoloji yığını için kaynak kararlarını daha net hale getirir.
Ders 3: Orijinal öğrenmeleri belgeleyerek, konuşmaları ve etkileşimleri tekrarlanabilir uygulamalara dönüştürerek ve başkalarına tam, ölçeklenebilir devri sağlayarak şirket genelinde sağlığı koruyun ve içgörüleri ölçeklendirin.
