2021年7月31日-8月1日，人人都是產品經理舉辦的【2021年產品經理大會·北京站】完美落幕，火山引擎解決方案總監(jiān)張錦波帶來了精彩的內容分享，她分享的主題是《AB測試驅動業(yè)務增長》。

一、前言

大家下午好，我是張錦波，來自火山引擎的金融行業(yè)，之前是AB測試、智能發(fā)布和性能監(jiān)控等幾條產品線的產品負責人。火山引擎是字節(jié)跳動旗下的企業(yè)級技術服務平臺，借助這個機會，很榮幸和大家分享字節(jié)跳動AB測試驅動分享的方法論和相關思考。

先分享一個發(fā)生在租車公司的真實案例。

作為方案策劃者，或者領導的決策層，我們可能會遇到類似的問題：同一個目標有多種方案，每個方案的負責人往往各執(zhí)己見。租車公司的案例便是如此，該公司希望于今年能夠提升租車的轉化率，所以在租金和押金的優(yōu)化流程設計上，產品經理和運營經理有了不同意見，而老板需要考慮究竟采用誰的方案。

運營經理認為，租金和押金應當置于同一個支付頁面，因為流程越短越好，一旦操作步驟增多，就會降低用戶的使用意愿。

而產品經理認為兩個支付頁面更為合理，應當先付租金、再付押金，因為當用戶一下子支付了幾千塊錢時，用戶的心理壓力會驟然增大。

運營經理此時依舊堅持己見：跳轉等于流失，多一步的操作，多一分流失的風險，數據跌了，誰能負責任？

產品經理也不甘示弱：用戶調研顯示，許多用戶都卡在了整個支付頁面；分成兩個頁面，更容易降低用戶對于用車成本的焦慮。

其實這個案例暴露了幾個問題：

于員工而言，如何能夠有理有據、不急不躁地優(yōu)雅battle，同時有禮有節(jié)、不卑不亢地說服老板？于老板而言：如何能夠不偏不倚地科學決策，并且不讓下屬覺得自己“愚蠢”？

那應該怎么辦呢？先埋下一個伏筆，來看字節(jié)跳動是如何解決這些問題的。

二、字節(jié)跳動如何解決問題？1. 高度關注產品信息密度，持續(xù)探索更新穎更高效的方式

字節(jié)跳動旗下有很多款大家耳熟能詳的APP，其中一些APP的產品定位便是圍繞信息分發(fā)。

人類獲取信息的過程是一個消除不確定性的過程，或者叫信息熵減的過程，換句話說，信息分發(fā)的過程便是讓人從“不明白”到“明白”。

在整個過程中，我們一開始設計的APP叫今日頭條——一個基礎的新聞資訊類APP，通過圖文的方式來傳遞資訊。后來，我們解放了用戶的雙手與雙眼，讓看新聞變?yōu)槁犘侣劇?/p>

到2016年時，抖音橫空出世，我們開始用短視頻的方式提升知識傳導的效率。但是伴隨著Z世代與互聯網原住民的興起，這種信息傳輸沒有辦法滿足用戶強烈的交流訴求，于是單向的信息傳輸演變成了雙向互動的抖音直播方式。

而在整個演進歷史中，字節(jié)跳動一直高度關注產品信息傳遞的密度，并在不斷探索一個更新穎、更高效的方式。其中，最核心的理念是數據驅動創(chuàng)新、數據驅動增長，而AB測試就是整個理念的核心工具與載體。

2. 把產品的決策權交給用戶

我們常被貼上了許多標簽：善于增長、OKR等；而最近，大家會常聽到字節(jié)跳動是一個做AB測試的大廠。

字節(jié)跳動將AB測試做到了多么極致？

比如今日頭條、抖音、西瓜等，這些產品的名字并非產品經理或者業(yè)務負責人拍腦袋、經驗主義的決策結果，而是將不同名稱的應用包上架至應用市場之后，通過下載率和分享率來進行定奪，本質上即通過AB測試的思想，將產品的決策權交給了用戶。

而AB測試的思想，深植于字節(jié)跳動的企業(yè)文化與基因中。上至中高層管理層，下至一線產品、運營人員，都有一個普遍共識：AB測試是一切決策的前提與基礎。上線任何策略之前，先跑一遍AB測試，用數據說話。

所以字節(jié)跳動從成立之初就在做AB測試，2016年底搭建了統一的AB測試平臺，迄今為止累計了七十多萬次實驗。2019年底統計時只有三十萬個，短短一年半時間內，這一數字翻了一倍還多。我們同時服務內部四百多個業(yè)務，每天新開的實驗有1500個，同時運行的實驗可達上萬個。

字節(jié)跳動旗下有許多款DAU過億的產品，所以上述數據表明了一個概念：在這么大流量的產品上做如此多實驗，這說明其在線實時分流體系，不管是吞吐力還是響應性能上都是十分強大的。

而在技術的精進和打磨過程中，AB測試平臺也支撐了字節(jié)跳動產品的高速迭代發(fā)展，沉淀了海量的最佳實踐和方法論。小到前端UI上一個按鈕顏色的變化，再到推送文案的變化，運營策略、營銷方案及產品功能迭代，甚至大到底層技術架構的變革，AB測試都是必不可少的。

所以在字節(jié)跳動有一句話，叫萬物皆可AB。

3. A/B測試的私域數字化增長

再與大家分享字節(jié)跳動在私域做數字化增長的方法論，通過這個方法論我們可以看見AB測試帶來的核心價值。

首先是關于私域數字增長化的目標，即希望提升APP的整體活躍度。之后再將頂層目標下拆為兩部分，分別為自然訪問和運營訪問。

自然訪問指用戶基于內在需求，自發(fā)地、主動地打開APP的行為。此時要求有一個有用的功能，或者叫有用的產品，產品的功能成熟完備，加上體驗流暢、界面優(yōu)美，才能給客戶帶來真正的核心價值。

然而C端垂域基本上已為紅海，因此只有“有用的產品”還不夠，還需打造“有趣的靈魂”。因此我們有許多福利權益措施，并搭建了激勵體系，加入一些創(chuàng)意互動的巧思，如AR、VR、直播技術、虛擬形象、數字人等，通過有用的功能、有趣的產品將用戶拉回來，實現自然復訪。

運營訪問也叫被動訪問，指用戶受到外界條件觸發(fā)、被召回、被動地打開APP的行為。這一訪問的本質與營銷強相關，即選中合適的人群，通過合適的渠道，在合適的時間利用合適的策略實現觸達、激活。

當然支撐這些的還有兩個理論基石：

其一為ROI最大化，也叫價值最大化，本質上體現了產品是否具有良性的、健康的商業(yè)盈利模式，是可持續(xù)發(fā)展的基石。其二叫規(guī)模最大化，指的是流量DAU或MAU，它體現了產品可規(guī)模化復制的能力，是流量基石。

根據上層方法論與目標拆解而成的策略，其底層離不開強大的工具或平臺，即技術能力底座。我們從最初的數據埋點、采集上報等進行一層層地抽取，形成了各種各樣的數據主題集市，并于上層搭建了不同的業(yè)務模塊：

分析能力模塊：分析用戶行為增長、用戶畫像，實現投放監(jiān)測的分析；增長能力模塊：AB測試、智能發(fā)布、推送運營的平臺和工具，以及積分裂變的激勵體系融合起來，支撐了上面的自然訪問和運營訪問。建模能力模塊：個性化能力和推薦算法是火山引擎擅長的模塊。

三、如何通過實驗提升用戶的「自然訪問」？

那么，AB測試如何提升用戶的自然訪問？

字節(jié)跳動內部有一個最佳實踐，即功能的優(yōu)化迭代實驗加上內容推薦實驗。比如在產品迭代發(fā)展過程中，通過不斷的小步快跑、加速迭代，積跬步以至千里，持續(xù)進行功能迭代實驗，找到產品與市場的契合點，即PMF。同時，通過信息流推薦的實驗，不斷優(yōu)化UGC和PGC內容的算法模型，提升用戶體驗，增強用戶粘性與忠誠度，提升用戶留存，發(fā)揮一加一大于二的效果。

1. 管用的功能：新手引導優(yōu)化，Aha時刻加速來臨

分享幾個有意思的案例，先說“管用的功能”。

我們旗下有一個APP，產品經理通過數據分析發(fā)現，該產品的新老用戶留存率完全不同，新用戶的留存流失率非常大。后來通過行為細查、或行為路徑等研究發(fā)現，發(fā)現新用戶若在上滑操作上沒有get到某個點，不知道如何上滑看到更多視頻，用戶錯誤操作幾次之后便流失了，即沒有迎來他的Aha時刻。

Aha時刻這個概念是增長黑客里的核心概念，指新用戶在冷啟動過程中使用APP時突然“嗨”的時刻，該時刻的到來意味著新用戶get到了產品的核心價值，同時與你的產品建立了感情連接與情感紐帶。此時，這類用戶在某種意義上已經成為了有一定忠誠度與粘性的復訪留存用戶。

所以產品經理在新手轉化環(huán)節(jié)的關鍵任務之一便是找到激發(fā)Aha時刻的關鍵行為和關鍵頻次。在這個案例中，其關鍵行為便是上滑操作，讓冷啟動階段的新用戶能夠快速看到更多視頻；而通過用戶看到更多視頻的行為，我們也可以學習到用戶的行為特征、興趣偏好，從而以多目標、個性化推薦的方式推送用戶可能感興趣的視頻，進而形成有效的數據閉環(huán)。

然而很多用戶在這個關鍵行為環(huán)節(jié)上流失了，那該怎么辦？于是產品經理設計了一個實驗，即將上滑操作變?yōu)榘雱討B(tài)式的引導樣式。這個實驗上線跑了一個月，效果非常不好，上劃操作的滲透率下降了百分之一，新用戶的留存也沒有顯著上升。

于是產品經理設計了第二輪實驗，轉換為全動態(tài)式的引導樣式。這個實驗跑完一個月后的效果非常顯著，上滑操作的滲透率提升了1.5%，新用戶七日留存的提升分別在1%-1.8%不等。

爾后產品經理聯合數據分析師再進行分析，發(fā)現該類指標的提升貢獻主要來自發(fā)達地區(qū)。通過用研心理學的研究，發(fā)現發(fā)達地區(qū)的用戶本身的工作節(jié)奏快、工作強度大，沒有太多耐心和精力在錯誤操作幾次之后繼續(xù)進行探索，因此用戶便流失了。而傻瓜式的全動態(tài)式的引導樣式讓用戶很容易知道如何觀賞更多視頻，因此這類用戶的留存率便相應提升了。

2. 有趣的靈魂：今日頭條——時長任務數值策略實驗

再來說“有趣的靈魂”。

AB測試持續(xù)地幫助產品經理和運營人員探索更多更好玩的新玩法，比如今日頭條首頁UI改版實驗，或者叫任務時長的數值策略的實驗。一開始，今日頭條在用戶閱讀完之后才會反映金幣，金幣可以提現。但是產品經理發(fā)現這樣的策略并不利于一些用戶的體驗，假若某些用戶只看摘要，或者只閱讀文章前幾段，便不能被這個策略很好地激發(fā)。

因此，產品經理優(yōu)化了激勵措施，通過閱讀時長的衡量方式來提升獎勵的發(fā)放頻次，并基于此做了一個實驗。對照組依然是讀完再發(fā)金幣，而實驗組1、2、3上都分別有時長任務，只是用戶反饋數值不同，分別為低中高數值。

產品經理選取了三個指標，分屬于用戶留存率與總凈利潤上，希望能在用戶的體驗度以及收益之間做一個對沖和評估。

上線一個月之后，實驗組3新用戶的平均使用時長與21天留存提升非常明顯，但是在ROI最大化、即價值最大化層面上，總凈利潤也下降得較為明顯。

實驗組1雖然總凈利潤表現不錯，但是新用戶的平均使用時長與21天留存上都沒有顯著上升，因此表現一般。

故最后上線了實驗組2，該實驗組在各個指標上的表現都較為不錯，能提升新用戶使用時長3%左右，總凈利潤層面亦有少量提升，是一個相對均衡的實驗組。

3. 好看的皮囊：今日頭條首頁新UI改版實驗

再來說“好看的皮囊”。

今日頭條的UI原來相對偏老氣，用戶調研結果表示很大一部分用戶群體主要為中年男性。后續(xù)，產品經理認為要避免幸存者偏差，即將用戶泛化到更年輕的群體以及女性群體上，因此聯合UED團隊，對今日頭條的首頁進行了改版。

新版的UI搜索框變得相對圓潤，頭部色值的飽和度、字體、字號、字重、上下左右間距，乃至底部icon等都做了非常多實驗，在經過長期持續(xù)不斷的優(yōu)化迭代之后，最終上線了新的UI設計方案。而數據指標顯示，圖文類的閱讀時長顯著提升了1.66%，用戶貢獻度主要來自一些年輕用戶以及女性用戶，這說明新的UI設計泛化是成功的。

四、如何通過實驗提升用戶的「運營訪問」？

那么AB測試又是如何提升運營訪問，即被動訪問的？

其中的方法論，便是聯合營銷平臺五要素打造了一個一站式的智能化運營體驗，即選擇合適的人群、合適的物料，通過合適的渠道、合適的時機給用戶推送合適的策略。

來看看一個典型的提活促留案例，在某個垂類社區(qū)上，我們將推送實驗與推薦實驗結合，形成了一個完備的組合拳，先通過推送實驗方式將用戶拉回，再通過推薦實驗方式將用戶留存。

一開始，產品經理與數據分析師發(fā)現，新老用戶的留存與平均使用時長差別很大，為了避免幸存者偏差，因此要向新用戶進行更好的泛化，便設計了一個推送實驗。

實驗組1、2、3分別有不同的推送策略或推送時機：

實驗組1：每天早上和中午進行推送；實驗組2：每天中午和下午進行推送；實驗組3：每天早午晚都進行推送。

跑了一個月之后，最終實驗組2勝出。產品經理做了一次分析，發(fā)現該社區(qū)的主要用戶群體是白領工薪階層，因此早上七點左右，該用戶群體大致處于或睡覺、或吃飯、或通行的階段，沒有時間打開APP，因此此次推送是無效的；而中午或下午茶的時間段里，用戶有些許休息時間，因此能夠打開推送的新聞資訊。

而實驗組3中的用戶感到自己被頻繁地打擾，甚至引發(fā)了許多卸載行為。因此最終全量上線的是實驗組2。

然而如何將用戶拉回的同時實現留存？此時便需要匹配個性化推薦實驗。通過研究新老用戶的的平均使用時長，算法工程師于一開始在冷啟動階段給新用戶不進行任何個性化推送，上線了一個個性化推薦模型的1.0版本，發(fā)現APP的使用時長與APP的點贊評論滲透率分別提升了59%-81%不等，達到了一個不錯的效果。

之后算法工程師進行了下一步優(yōu)化，加入了更多的一些特征、一些時事熱點之后，形成了個性化推薦的2.0模型，發(fā)現2.0模型在APP使用時長與點贊評論滲透率上又分別提升了8.4%和18.2%，效果喜人。

五、A/B測試核心價值

而除了提升用戶的自然訪問和運營訪問，AB測試平臺同時也給字節(jié)跳動To B的各條業(yè)務線帶來了許多核心的價值收益，比如提活促留、業(yè)務創(chuàng)新、收益提升、降本增效等。而在產品的整個迭代研發(fā)過程中，可以通過AB測試幫助降低試錯和創(chuàng)新成本，激發(fā)創(chuàng)新潛能，快速找到新的業(yè)務增長點，逐步地形成迄今為止最優(yōu)的產品形態(tài)和產品定位。

對于管理層，AB測試也有很大助益。通過正交試驗等多種工具，業(yè)務部門能夠精準衡量新策略、或者新功能對大盤整體的一個業(yè)績貢獻度，比如匯報時，就可以通過AB測試提供準確的數據依據和科學度量。

那字節(jié)跳動是如何把AB測試打造成一款To B的尖峰產品的？

先看看To B的AB測試的核心能力。首先在對內AB測試的平臺基礎之上，它泛化、擴充了許多有用的、降本增效的、場景化的特型實驗模板，同時也豐富了實驗報告評估和分析的各種模型。

1. 推送實驗，營銷增長的有力武器

第一個實驗模版結合了自動化營銷的工具，叫推送實驗。

以電商case為例，可以根據用戶的活躍期限，在流失拐點到來之前，結合營銷與AB實驗的方式，在首購、復購或者喚醒沉睡用戶的環(huán)節(jié)當中，比如優(yōu)惠券推廣、折扣推送、購買加購之后的激活、或是猜你喜歡等一系列的推送策略上做一些實驗。

同時，在推送平臺、推送渠道、推送時機、推送標題、文案內容，甚至是推送落地頁、提醒方式、目標受眾等，都可以進行策略實驗。當然，我們也允許多個策略之間進行全組合，看看哪種組合策略可以最好地觸達用戶，擁有更好的轉化率，也能結合AI控流的方式；同時也可以用文案循環(huán)、策略循環(huán)的方式去更好地激活、促留客戶。

2. 可視化建站實驗，無需編碼，人人皆為實驗官

第二個實驗模版叫可視化進展實驗。

在研發(fā)資源有限的公司，整體的迭代效率相對較差，而可視化進展實驗模版不需要研發(fā)人員介入，無需編碼，人人皆可成為實驗官，通過拖拉拽等可視化的方式，直接將文案、圖片、顏色等進行編輯和變更，甚至新增或刪除元素等，都可以通過可視化方式解決，因此特別適合于廣告、活動H5、推廣落地頁上做UI的局部調整。

而這樣的一個實驗，極大地降低了實驗成本、操作成本和理解成本。

3. 多鏈接合并實驗，落地頁賽馬不再難

第三個實驗模版為多鏈接合并實驗。

可以看看這個案例，在火山引擎官網上線火種計劃時，我們做了兩個不同頁面，一個帶火種，一個不帶火種。如果要進行大的頁面布局改動、或者畫風不一樣的落地頁時，便推薦使用多鏈接合并實驗。這一實驗指投放同一個入口，跳轉之后在內部進行重定向其他頁面，再來評估不同頁面的整塊效果。最終評估結果顯示，帶火種計劃的落地頁轉化率效果是最好的。

由此可以看出，多鏈接合并實驗或重定向實驗適用于首頁網頁的大改版，或者節(jié)日大促時活動頁的自動優(yōu)選，或者鑒別多渠道落地頁推廣的廣告實驗中哪一個策略最優(yōu)等情況。

同時，還有其他實驗模板，比如說客戶端或服務端的編程實驗可以解決所有實驗場景下的問題；也有科學度量實驗，幫助在公域投放的過程當中解決策略評估的問題。

4. 豐富的實驗報告，全面洞察數據

整個實驗的最后一公里、最重要的一個環(huán)節(jié)，能夠直接影響實驗的決策者，因此需要科學、準確、客觀、全面的實驗報告，否則就會導致以偏概全。

因此底層基于假設檢驗和貝葉斯的統計學理論，提供了非常豐富的實驗分析模型，比如說多維修正、多重比較修正、概率分布、盒須快照、分時趨勢/累計趨勢、轉化漏斗、P-value MDE置信區(qū)間等，甚至在進組用戶方面，可以進行群體畫像洞察，也可以將用戶切成同期群下的不同活躍矩陣，進行分析。

而這些實驗分析模型，可以讓所有變化無所遁形，因此讓決策者的決策鏈更清晰完備。

5. 從例行運營工作徹底解放：智能流量動態(tài)調優(yōu)實驗

再分享一個有用且有趣的功能，即智能流量動態(tài)調優(yōu)，內部叫AI控流，或者叫MAB。

這一功能適合與時間強相關的實驗，比如618大促活動中，一些推送運營活動實驗為期只有7天。如果上一個經典的固定流量實驗，7天結束之后，多個實驗策略確實指出了誰為優(yōu)勝者，但是最佳時間窗口已經過去了。

因此這個理念提出的課題便是，希望能實時地根據用戶反饋進行智能化調配流量分配，動態(tài)地進行賽馬，保證實踐期間收益的最大化。故此，本質上為double E的問題，即在快速發(fā)現并收斂至最優(yōu)的實驗組策略，以及探索可能出現的更優(yōu)實驗中實現平衡。而底層利用的就是貝葉斯的理論，實現零時間成本、零分析成本、零人工介入方式實現智能化、自動化的流量調優(yōu)。

而MAB技術或者能力非常適合運營推送文案的賽馬、落地頁動態(tài)優(yōu)選、MVT多變量智能組合擇優(yōu)、廣告投放策略自動優(yōu)選，以及許多想做多組合元素的智能擇優(yōu)的策略。

6. 小游戲送元寶的MAB實驗

舉一個MAB應用到游戲領域的例子。游戲往往會建立一套完善的激勵措施或激勵體系，這個游戲便通過發(fā)元寶的激勵召回了流失用戶；而運營人員設計了四組文案。哪組文案跑量最好？

一開始，四組文案均分，流量迭代調優(yōu)之后，B、D匯集了大部分流量；C有小眾偏好，A的轉化率非常低，慘遭淘汰。

于是通過一個MAB實驗，可以看到，對比經典的均分流量實驗，該實驗整體點擊率提升了9.2%，因此活動期間，收益已經相對客觀。

7. 最后老板采用了誰的方案？

回到一開始埋下的那個伏筆。在租車公司案例中，產品經理與運營經理發(fā)生了激烈沖突，大家各執(zhí)己見。那么最終，老板的解決方案是什么？

就是AB測試。既然無法判斷誰更有理，那便“是騾子是馬，先拉出來溜溜”。

因此跑完了一個月的實驗過后，產品經理的策略——租金與押金分為兩個頁面——勝出了，看似違背了運營常識、拉長了整個運營流程，但最終，下單的完成轉化率提升了1%，帶來了可觀營收，而數據結果也讓運營經理心服口服。

跳出AB測試的討論，其實AB測試與其他的數據產品匹配起來才能發(fā)揮其更大價值。

如一站式全域數據智能營銷平臺。該平臺目的是幫助運營人員實現數字化、自動化、智能化的運營。上面的流量地圖解決了“看什么”的問題，即where we are。通過用戶行為增長分析工具搭配，提供整體流量運營指標展示、外部流量轉化效果展示、APP觸點互動效果展示，以及運營效果展示等。

第二步解決了“做什么”的問題，該部分即數據營銷地圖的自動化部分，基于底層全域客戶數據的畫像平臺、或叫旅程平臺，以及上面的智能流量運營工具、營銷平臺，再結合物料庫、客群庫和策略庫，提供自動化的能力。

策略優(yōu)化部分解決了智能化的部分，基于AB測試，以及個性化的、千人千面相關的算法和能力，提供了基礎的決策引擎。

上述便是我們一站式的數字化、自動化、智能化的運營體系。

六、結語

最后分享一點個人感想。

AB測試是一個非常有用的工具，但也僅僅是一個工具而已，它沒有辦法告訴產品經理用戶的真實訴求是什么。

但是同理心可以。同理心可以讓產品經理與用戶共鳴甚至感同身受，因此沒有同理心的產品，必然是一個無用的、沒有靈魂的產品。

但是僅有同理心并不夠，同理心只能讓你的產品是有用的；若想做出一個杰出而偉大的產品，你還需要有想象力，結合想象力為產品插上騰飛的翅膀。

因此2019年3月份時，一鳴在字節(jié)跳動成立七周年大會上說了這樣一句話：

同理心是地基，想象力是天空，中間是邏輯和工具。

這么多年，我一直深以為然，這大概就是新互聯網時代，互聯網人一種務實的浪漫主義；或許AB測試、以及其他一些理論基石，是未來解鎖產品經理之門的一把鑰匙。

相關閱讀

移動互聯網的第二戰(zhàn)場：增長、下沉，把握大的變局——2021產品經理大會·北京站現場報道

重構數據根基，打造數據閉環(huán)

2021全年大會排期預告

2021產品經理大會北、上、廣、深、杭 5 城巡回進行中?。?！與騰訊、阿里等大廠實戰(zhàn)專家一起，分享實踐案例，探索行業(yè)趨勢，提升個人能力，解碼產品經理未來！

掃描下圖二維碼進全年大會專屬咨詢群了解詳情！今年最后3場產品經理大會，廣州、杭州、深圳站即將開幕！搶票速來！

本文為【2021年產品經理大會·北京站】現場分享整理內容，由人人都是產品經理運營 @Aine 整理發(fā)布。未經許可，禁止轉載，謝謝合作

題圖來自大會現場