2021年7月31日-8月1日，人人都是產(chǎn)品經(jīng)理舉辦的【2021年產(chǎn)品經(jīng)理大會·北京站】完美落幕，火山引擎解決方案總監(jiān)張錦波帶來了精彩的內(nèi)容分享，她分享的主題是《AB測試驅(qū)動業(yè)務(wù)增長》。

一、前言

大家下午好，我是張錦波，來自火山引擎的金融行業(yè)，之前是AB測試、智能發(fā)布和性能監(jiān)控等幾條產(chǎn)品線的產(chǎn)品負(fù)責(zé)人?；鹕揭媸亲止?jié)跳動旗下的企業(yè)級技術(shù)服務(wù)平臺，借助這個機(jī)會，很榮幸和大家分享字節(jié)跳動AB測試驅(qū)動分享的方法論和相關(guān)思考。

先分享一個發(fā)生在租車公司的真實(shí)案例。

作為方案策劃者，或者領(lǐng)導(dǎo)的決策層，我們可能會遇到類似的問題：同一個目標(biāo)有多種方案，每個方案的負(fù)責(zé)人往往各執(zhí)己見。租車公司的案例便是如此，該公司希望于今年能夠提升租車的轉(zhuǎn)化率，所以在租金和押金的優(yōu)化流程設(shè)計上，產(chǎn)品經(jīng)理和運(yùn)營經(jīng)理有了不同意見，而老板需要考慮究竟采用誰的方案。

運(yùn)營經(jīng)理認(rèn)為，租金和押金應(yīng)當(dāng)置于同一個支付頁面，因?yàn)榱鞒淘蕉淘胶?，一旦操作步驟增多，就會降低用戶的使用意愿。

而產(chǎn)品經(jīng)理認(rèn)為兩個支付頁面更為合理，應(yīng)當(dāng)先付租金、再付押金，因?yàn)楫?dāng)用戶一下子支付了幾千塊錢時，用戶的心理壓力會驟然增大。

運(yùn)營經(jīng)理此時依舊堅持己見：跳轉(zhuǎn)等于流失，多一步的操作，多一分流失的風(fēng)險，數(shù)據(jù)跌了，誰能負(fù)責(zé)任？

產(chǎn)品經(jīng)理也不甘示弱：用戶調(diào)研顯示，許多用戶都卡在了整個支付頁面；分成兩個頁面，更容易降低用戶對于用車成本的焦慮。

其實(shí)這個案例暴露了幾個問題：

于員工而言，如何能夠有理有據(jù)、不急不躁地優(yōu)雅battle，同時有禮有節(jié)、不卑不亢地說服老板？于老板而言：如何能夠不偏不倚地科學(xué)決策，并且不讓下屬覺得自己“愚蠢”？

那應(yīng)該怎么辦呢？先埋下一個伏筆，來看字節(jié)跳動是如何解決這些問題的。

二、字節(jié)跳動如何解決問題？1. 高度關(guān)注產(chǎn)品信息密度，持續(xù)探索更新穎更高效的方式

字節(jié)跳動旗下有很多款大家耳熟能詳?shù)腁PP，其中一些APP的產(chǎn)品定位便是圍繞信息分發(fā)。

人類獲取信息的過程是一個消除不確定性的過程，或者叫信息熵減的過程，換句話說，信息分發(fā)的過程便是讓人從“不明白”到“明白”。

在整個過程中，我們一開始設(shè)計的APP叫今日頭條——一個基礎(chǔ)的新聞資訊類APP，通過圖文的方式來傳遞資訊。后來，我們解放了用戶的雙手與雙眼，讓看新聞變?yōu)槁犘侣劇?/p>

到2016年時，抖音橫空出世，我們開始用短視頻的方式提升知識傳導(dǎo)的效率。但是伴隨著Z世代與互聯(lián)網(wǎng)原住民的興起，這種信息傳輸沒有辦法滿足用戶強(qiáng)烈的交流訴求，于是單向的信息傳輸演變成了雙向互動的抖音直播方式。

而在整個演進(jìn)歷史中，字節(jié)跳動一直高度關(guān)注產(chǎn)品信息傳遞的密度，并在不斷探索一個更新穎、更高效的方式。其中，最核心的理念是數(shù)據(jù)驅(qū)動創(chuàng)新、數(shù)據(jù)驅(qū)動增長，而AB測試就是整個理念的核心工具與載體。

2. 把產(chǎn)品的決策權(quán)交給用戶

我們常被貼上了許多標(biāo)簽：善于增長、OKR等；而最近，大家會常聽到字節(jié)跳動是一個做AB測試的大廠。

字節(jié)跳動將AB測試做到了多么極致？

比如今日頭條、抖音、西瓜等，這些產(chǎn)品的名字并非產(chǎn)品經(jīng)理或者業(yè)務(wù)負(fù)責(zé)人拍腦袋、經(jīng)驗(yàn)主義的決策結(jié)果，而是將不同名稱的應(yīng)用包上架至應(yīng)用市場之后，通過下載率和分享率來進(jìn)行定奪，本質(zhì)上即通過AB測試的思想，將產(chǎn)品的決策權(quán)交給了用戶。

而AB測試的思想，深植于字節(jié)跳動的企業(yè)文化與基因中。上至中高層管理層，下至一線產(chǎn)品、運(yùn)營人員，都有一個普遍共識：AB測試是一切決策的前提與基礎(chǔ)。上線任何策略之前，先跑一遍AB測試，用數(shù)據(jù)說話。

所以字節(jié)跳動從成立之初就在做AB測試，2016年底搭建了統(tǒng)一的AB測試平臺，迄今為止累計了七十多萬次實(shí)驗(yàn)。2019年底統(tǒng)計時只有三十萬個，短短一年半時間內(nèi)，這一數(shù)字翻了一倍還多。我們同時服務(wù)內(nèi)部四百多個業(yè)務(wù)，每天新開的實(shí)驗(yàn)有1500個，同時運(yùn)行的實(shí)驗(yàn)可達(dá)上萬個。

字節(jié)跳動旗下有許多款DAU過億的產(chǎn)品，所以上述數(shù)據(jù)表明了一個概念：在這么大流量的產(chǎn)品上做如此多實(shí)驗(yàn)，這說明其在線實(shí)時分流體系，不管是吞吐力還是響應(yīng)性能上都是十分強(qiáng)大的。

而在技術(shù)的精進(jìn)和打磨過程中，AB測試平臺也支撐了字節(jié)跳動產(chǎn)品的高速迭代發(fā)展，沉淀了海量的最佳實(shí)踐和方法論。小到前端UI上一個按鈕顏色的變化，再到推送文案的變化，運(yùn)營策略、營銷方案及產(chǎn)品功能迭代，甚至大到底層技術(shù)架構(gòu)的變革，AB測試都是必不可少的。

所以在字節(jié)跳動有一句話，叫萬物皆可AB。

3. A/B測試的私域數(shù)字化增長

再與大家分享字節(jié)跳動在私域做數(shù)字化增長的方法論，通過這個方法論我們可以看見AB測試帶來的核心價值。

首先是關(guān)于私域數(shù)字增長化的目標(biāo)，即希望提升APP的整體活躍度。之后再將頂層目標(biāo)下拆為兩部分，分別為自然訪問和運(yùn)營訪問。

自然訪問指用戶基于內(nèi)在需求，自發(fā)地、主動地打開APP的行為。此時要求有一個有用的功能，或者叫有用的產(chǎn)品，產(chǎn)品的功能成熟完備，加上體驗(yàn)流暢、界面優(yōu)美，才能給客戶帶來真正的核心價值。

然而C端垂域基本上已為紅海，因此只有“有用的產(chǎn)品”還不夠，還需打造“有趣的靈魂”。因此我們有許多福利權(quán)益措施，并搭建了激勵體系，加入一些創(chuàng)意互動的巧思，如AR、VR、直播技術(shù)、虛擬形象、數(shù)字人等，通過有用的功能、有趣的產(chǎn)品將用戶拉回來，實(shí)現(xiàn)自然復(fù)訪。

運(yùn)營訪問也叫被動訪問，指用戶受到外界條件觸發(fā)、被召回、被動地打開APP的行為。這一訪問的本質(zhì)與營銷強(qiáng)相關(guān)，即選中合適的人群，通過合適的渠道，在合適的時間利用合適的策略實(shí)現(xiàn)觸達(dá)、激活。

當(dāng)然支撐這些的還有兩個理論基石：

其一為ROI最大化，也叫價值最大化，本質(zhì)上體現(xiàn)了產(chǎn)品是否具有良性的、健康的商業(yè)盈利模式，是可持續(xù)發(fā)展的基石。其二叫規(guī)模最大化，指的是流量DAU或MAU，它體現(xiàn)了產(chǎn)品可規(guī)模化復(fù)制的能力，是流量基石。

根據(jù)上層方法論與目標(biāo)拆解而成的策略，其底層離不開強(qiáng)大的工具或平臺，即技術(shù)能力底座。我們從最初的數(shù)據(jù)埋點(diǎn)、采集上報等進(jìn)行一層層地抽取，形成了各種各樣的數(shù)據(jù)主題集市，并于上層搭建了不同的業(yè)務(wù)模塊：

分析能力模塊：分析用戶行為增長、用戶畫像，實(shí)現(xiàn)投放監(jiān)測的分析；增長能力模塊：AB測試、智能發(fā)布、推送運(yùn)營的平臺和工具，以及積分裂變的激勵體系融合起來，支撐了上面的自然訪問和運(yùn)營訪問。建模能力模塊：個性化能力和推薦算法是火山引擎擅長的模塊。

三、如何通過實(shí)驗(yàn)提升用戶的「自然訪問」？

那么，AB測試如何提升用戶的自然訪問？

字節(jié)跳動內(nèi)部有一個最佳實(shí)踐，即功能的優(yōu)化迭代實(shí)驗(yàn)加上內(nèi)容推薦實(shí)驗(yàn)。比如在產(chǎn)品迭代發(fā)展過程中，通過不斷的小步快跑、加速迭代，積跬步以至千里，持續(xù)進(jìn)行功能迭代實(shí)驗(yàn)，找到產(chǎn)品與市場的契合點(diǎn)，即PMF。同時，通過信息流推薦的實(shí)驗(yàn)，不斷優(yōu)化UGC和PGC內(nèi)容的算法模型，提升用戶體驗(yàn)，增強(qiáng)用戶粘性與忠誠度，提升用戶留存，發(fā)揮一加一大于二的效果。

1. 管用的功能：新手引導(dǎo)優(yōu)化，Aha時刻加速來臨

分享幾個有意思的案例，先說“管用的功能”。

我們旗下有一個APP，產(chǎn)品經(jīng)理通過數(shù)據(jù)分析發(fā)現(xiàn)，該產(chǎn)品的新老用戶留存率完全不同，新用戶的留存流失率非常大。后來通過行為細(xì)查、或行為路徑等研究發(fā)現(xiàn)，發(fā)現(xiàn)新用戶若在上滑操作上沒有g(shù)et到某個點(diǎn)，不知道如何上滑看到更多視頻，用戶錯誤操作幾次之后便流失了，即沒有迎來他的Aha時刻。

Aha時刻這個概念是增長黑客里的核心概念，指新用戶在冷啟動過程中使用APP時突然“嗨”的時刻，該時刻的到來意味著新用戶get到了產(chǎn)品的核心價值，同時與你的產(chǎn)品建立了感情連接與情感紐帶。此時，這類用戶在某種意義上已經(jīng)成為了有一定忠誠度與粘性的復(fù)訪留存用戶。

所以產(chǎn)品經(jīng)理在新手轉(zhuǎn)化環(huán)節(jié)的關(guān)鍵任務(wù)之一便是找到激發(fā)Aha時刻的關(guān)鍵行為和關(guān)鍵頻次。在這個案例中，其關(guān)鍵行為便是上滑操作，讓冷啟動階段的新用戶能夠快速看到更多視頻；而通過用戶看到更多視頻的行為，我們也可以學(xué)習(xí)到用戶的行為特征、興趣偏好，從而以多目標(biāo)、個性化推薦的方式推送用戶可能感興趣的視頻，進(jìn)而形成有效的數(shù)據(jù)閉環(huán)。

然而很多用戶在這個關(guān)鍵行為環(huán)節(jié)上流失了，那該怎么辦？于是產(chǎn)品經(jīng)理設(shè)計了一個實(shí)驗(yàn)，即將上滑操作變?yōu)榘雱討B(tài)式的引導(dǎo)樣式。這個實(shí)驗(yàn)上線跑了一個月，效果非常不好，上劃操作的滲透率下降了百分之一，新用戶的留存也沒有顯著上升。

于是產(chǎn)品經(jīng)理設(shè)計了第二輪實(shí)驗(yàn)，轉(zhuǎn)換為全動態(tài)式的引導(dǎo)樣式。這個實(shí)驗(yàn)跑完一個月后的效果非常顯著，上滑操作的滲透率提升了1.5%，新用戶七日留存的提升分別在1%-1.8%不等。

爾后產(chǎn)品經(jīng)理聯(lián)合數(shù)據(jù)分析師再進(jìn)行分析，發(fā)現(xiàn)該類指標(biāo)的提升貢獻(xiàn)主要來自發(fā)達(dá)地區(qū)。通過用研心理學(xué)的研究，發(fā)現(xiàn)發(fā)達(dá)地區(qū)的用戶本身的工作節(jié)奏快、工作強(qiáng)度大，沒有太多耐心和精力在錯誤操作幾次之后繼續(xù)進(jìn)行探索，因此用戶便流失了。而傻瓜式的全動態(tài)式的引導(dǎo)樣式讓用戶很容易知道如何觀賞更多視頻，因此這類用戶的留存率便相應(yīng)提升了。

2. 有趣的靈魂：今日頭條——時長任務(wù)數(shù)值策略實(shí)驗(yàn)

再來說“有趣的靈魂”。

AB測試持續(xù)地幫助產(chǎn)品經(jīng)理和運(yùn)營人員探索更多更好玩的新玩法，比如今日頭條首頁UI改版實(shí)驗(yàn)，或者叫任務(wù)時長的數(shù)值策略的實(shí)驗(yàn)。一開始，今日頭條在用戶閱讀完之后才會反映金幣，金幣可以提現(xiàn)。但是產(chǎn)品經(jīng)理發(fā)現(xiàn)這樣的策略并不利于一些用戶的體驗(yàn)，假若某些用戶只看摘要，或者只閱讀文章前幾段，便不能被這個策略很好地激發(fā)。

因此，產(chǎn)品經(jīng)理優(yōu)化了激勵措施，通過閱讀時長的衡量方式來提升獎勵的發(fā)放頻次，并基于此做了一個實(shí)驗(yàn)。對照組依然是讀完再發(fā)金幣，而實(shí)驗(yàn)組1、2、3上都分別有時長任務(wù)，只是用戶反饋數(shù)值不同，分別為低中高數(shù)值。

產(chǎn)品經(jīng)理選取了三個指標(biāo)，分屬于用戶留存率與總凈利潤上，希望能在用戶的體驗(yàn)度以及收益之間做一個對沖和評估。

上線一個月之后，實(shí)驗(yàn)組3新用戶的平均使用時長與21天留存提升非常明顯，但是在ROI最大化、即價值最大化層面上，總凈利潤也下降得較為明顯。

實(shí)驗(yàn)組1雖然總凈利潤表現(xiàn)不錯，但是新用戶的平均使用時長與21天留存上都沒有顯著上升，因此表現(xiàn)一般。

故最后上線了實(shí)驗(yàn)組2，該實(shí)驗(yàn)組在各個指標(biāo)上的表現(xiàn)都較為不錯，能提升新用戶使用時長3%左右，總凈利潤層面亦有少量提升，是一個相對均衡的實(shí)驗(yàn)組。

3. 好看的皮囊：今日頭條首頁新UI改版實(shí)驗(yàn)

再來說“好看的皮囊”。

今日頭條的UI原來相對偏老氣，用戶調(diào)研結(jié)果表示很大一部分用戶群體主要為中年男性。后續(xù)，產(chǎn)品經(jīng)理認(rèn)為要避免幸存者偏差，即將用戶泛化到更年輕的群體以及女性群體上，因此聯(lián)合UED團(tuán)隊(duì)，對今日頭條的首頁進(jìn)行了改版。

新版的UI搜索框變得相對圓潤，頭部色值的飽和度、字體、字號、字重、上下左右間距，乃至底部icon等都做了非常多實(shí)驗(yàn)，在經(jīng)過長期持續(xù)不斷的優(yōu)化迭代之后，最終上線了新的UI設(shè)計方案。而數(shù)據(jù)指標(biāo)顯示，圖文類的閱讀時長顯著提升了1.66%，用戶貢獻(xiàn)度主要來自一些年輕用戶以及女性用戶，這說明新的UI設(shè)計泛化是成功的。

四、如何通過實(shí)驗(yàn)提升用戶的「運(yùn)營訪問」？

那么AB測試又是如何提升運(yùn)營訪問，即被動訪問的？

其中的方法論，便是聯(lián)合營銷平臺五要素打造了一個一站式的智能化運(yùn)營體驗(yàn)，即選擇合適的人群、合適的物料，通過合適的渠道、合適的時機(jī)給用戶推送合適的策略。

來看看一個典型的提活促留案例，在某個垂類社區(qū)上，我們將推送實(shí)驗(yàn)與推薦實(shí)驗(yàn)結(jié)合，形成了一個完備的組合拳，先通過推送實(shí)驗(yàn)方式將用戶拉回，再通過推薦實(shí)驗(yàn)方式將用戶留存。

一開始，產(chǎn)品經(jīng)理與數(shù)據(jù)分析師發(fā)現(xiàn)，新老用戶的留存與平均使用時長差別很大，為了避免幸存者偏差，因此要向新用戶進(jìn)行更好的泛化，便設(shè)計了一個推送實(shí)驗(yàn)。

實(shí)驗(yàn)組1、2、3分別有不同的推送策略或推送時機(jī)：

實(shí)驗(yàn)組1：每天早上和中午進(jìn)行推送；實(shí)驗(yàn)組2：每天中午和下午進(jìn)行推送；實(shí)驗(yàn)組3：每天早午晚都進(jìn)行推送。

跑了一個月之后，最終實(shí)驗(yàn)組2勝出。產(chǎn)品經(jīng)理做了一次分析，發(fā)現(xiàn)該社區(qū)的主要用戶群體是白領(lǐng)工薪階層，因此早上七點(diǎn)左右，該用戶群體大致處于或睡覺、或吃飯、或通行的階段，沒有時間打開APP，因此此次推送是無效的；而中午或下午茶的時間段里，用戶有些許休息時間，因此能夠打開推送的新聞資訊。

而實(shí)驗(yàn)組3中的用戶感到自己被頻繁地打擾，甚至引發(fā)了許多卸載行為。因此最終全量上線的是實(shí)驗(yàn)組2。

然而如何將用戶拉回的同時實(shí)現(xiàn)留存？此時便需要匹配個性化推薦實(shí)驗(yàn)。通過研究新老用戶的的平均使用時長，算法工程師于一開始在冷啟動階段給新用戶不進(jìn)行任何個性化推送，上線了一個個性化推薦模型的1.0版本，發(fā)現(xiàn)APP的使用時長與APP的點(diǎn)贊評論滲透率分別提升了59%-81%不等，達(dá)到了一個不錯的效果。

之后算法工程師進(jìn)行了下一步優(yōu)化，加入了更多的一些特征、一些時事熱點(diǎn)之后，形成了個性化推薦的2.0模型，發(fā)現(xiàn)2.0模型在APP使用時長與點(diǎn)贊評論滲透率上又分別提升了8.4%和18.2%，效果喜人。

五、A/B測試核心價值

而除了提升用戶的自然訪問和運(yùn)營訪問，AB測試平臺同時也給字節(jié)跳動To B的各條業(yè)務(wù)線帶來了許多核心的價值收益，比如提活促留、業(yè)務(wù)創(chuàng)新、收益提升、降本增效等。而在產(chǎn)品的整個迭代研發(fā)過程中，可以通過AB測試幫助降低試錯和創(chuàng)新成本，激發(fā)創(chuàng)新潛能，快速找到新的業(yè)務(wù)增長點(diǎn)，逐步地形成迄今為止最優(yōu)的產(chǎn)品形態(tài)和產(chǎn)品定位。

對于管理層，AB測試也有很大助益。通過正交試驗(yàn)等多種工具，業(yè)務(wù)部門能夠精準(zhǔn)衡量新策略、或者新功能對大盤整體的一個業(yè)績貢獻(xiàn)度，比如匯報時，就可以通過AB測試提供準(zhǔn)確的數(shù)據(jù)依據(jù)和科學(xué)度量。

那字節(jié)跳動是如何把AB測試打造成一款To B的尖峰產(chǎn)品的？

先看看To B的AB測試的核心能力。首先在對內(nèi)AB測試的平臺基礎(chǔ)之上，它泛化、擴(kuò)充了許多有用的、降本增效的、場景化的特型實(shí)驗(yàn)?zāi)０?，同時也豐富了實(shí)驗(yàn)報告評估和分析的各種模型。

1. 推送實(shí)驗(yàn)，營銷增長的有力武器

第一個實(shí)驗(yàn)?zāi)０娼Y(jié)合了自動化營銷的工具，叫推送實(shí)驗(yàn)。

以電商case為例，可以根據(jù)用戶的活躍期限，在流失拐點(diǎn)到來之前，結(jié)合營銷與AB實(shí)驗(yàn)的方式，在首購、復(fù)購或者喚醒沉睡用戶的環(huán)節(jié)當(dāng)中，比如優(yōu)惠券推廣、折扣推送、購買加購之后的激活、或是猜你喜歡等一系列的推送策略上做一些實(shí)驗(yàn)。

同時，在推送平臺、推送渠道、推送時機(jī)、推送標(biāo)題、文案內(nèi)容，甚至是推送落地頁、提醒方式、目標(biāo)受眾等，都可以進(jìn)行策略實(shí)驗(yàn)。當(dāng)然，我們也允許多個策略之間進(jìn)行全組合，看看哪種組合策略可以最好地觸達(dá)用戶，擁有更好的轉(zhuǎn)化率，也能結(jié)合AI控流的方式；同時也可以用文案循環(huán)、策略循環(huán)的方式去更好地激活、促留客戶。

2. 可視化建站實(shí)驗(yàn)，無需編碼，人人皆為實(shí)驗(yàn)官

第二個實(shí)驗(yàn)?zāi)０娼锌梢暬M(jìn)展實(shí)驗(yàn)。

在研發(fā)資源有限的公司，整體的迭代效率相對較差，而可視化進(jìn)展實(shí)驗(yàn)?zāi)０娌恍枰邪l(fā)人員介入，無需編碼，人人皆可成為實(shí)驗(yàn)官，通過拖拉拽等可視化的方式，直接將文案、圖片、顏色等進(jìn)行編輯和變更，甚至新增或刪除元素等，都可以通過可視化方式解決，因此特別適合于廣告、活動H5、推廣落地頁上做UI的局部調(diào)整。

而這樣的一個實(shí)驗(yàn)，極大地降低了實(shí)驗(yàn)成本、操作成本和理解成本。

3. 多鏈接合并實(shí)驗(yàn)，落地頁賽馬不再難

第三個實(shí)驗(yàn)?zāi)０鏋槎噫溄雍喜?shí)驗(yàn)。

可以看看這個案例，在火山引擎官網(wǎng)上線火種計劃時，我們做了兩個不同頁面，一個帶火種，一個不帶火種。如果要進(jìn)行大的頁面布局改動、或者畫風(fēng)不一樣的落地頁時，便推薦使用多鏈接合并實(shí)驗(yàn)。這一實(shí)驗(yàn)指投放同一個入口，跳轉(zhuǎn)之后在內(nèi)部進(jìn)行重定向其他頁面，再來評估不同頁面的整塊效果。最終評估結(jié)果顯示，帶火種計劃的落地頁轉(zhuǎn)化率效果是最好的。

由此可以看出，多鏈接合并實(shí)驗(yàn)或重定向?qū)嶒?yàn)適用于首頁網(wǎng)頁的大改版，或者節(jié)日大促時活動頁的自動優(yōu)選，或者鑒別多渠道落地頁推廣的廣告實(shí)驗(yàn)中哪一個策略最優(yōu)等情況。

同時，還有其他實(shí)驗(yàn)?zāi)０?，比如說客戶端或服務(wù)端的編程實(shí)驗(yàn)可以解決所有實(shí)驗(yàn)場景下的問題；也有科學(xué)度量實(shí)驗(yàn)，幫助在公域投放的過程當(dāng)中解決策略評估的問題。

4. 豐富的實(shí)驗(yàn)報告，全面洞察數(shù)據(jù)

整個實(shí)驗(yàn)的最后一公里、最重要的一個環(huán)節(jié)，能夠直接影響實(shí)驗(yàn)的決策者，因此需要科學(xué)、準(zhǔn)確、客觀、全面的實(shí)驗(yàn)報告，否則就會導(dǎo)致以偏概全。

因此底層基于假設(shè)檢驗(yàn)和貝葉斯的統(tǒng)計學(xué)理論，提供了非常豐富的實(shí)驗(yàn)分析模型，比如說多維修正、多重比較修正、概率分布、盒須快照、分時趨勢/累計趨勢、轉(zhuǎn)化漏斗、P-value MDE置信區(qū)間等，甚至在進(jìn)組用戶方面，可以進(jìn)行群體畫像洞察，也可以將用戶切成同期群下的不同活躍矩陣，進(jìn)行分析。

而這些實(shí)驗(yàn)分析模型，可以讓所有變化無所遁形，因此讓決策者的決策鏈更清晰完備。

5. 從例行運(yùn)營工作徹底解放：智能流量動態(tài)調(diào)優(yōu)實(shí)驗(yàn)

再分享一個有用且有趣的功能，即智能流量動態(tài)調(diào)優(yōu)，內(nèi)部叫AI控流，或者叫MAB。

這一功能適合與時間強(qiáng)相關(guān)的實(shí)驗(yàn)，比如618大促活動中，一些推送運(yùn)營活動實(shí)驗(yàn)為期只有7天。如果上一個經(jīng)典的固定流量實(shí)驗(yàn)，7天結(jié)束之后，多個實(shí)驗(yàn)策略確實(shí)指出了誰為優(yōu)勝者，但是最佳時間窗口已經(jīng)過去了。

因此這個理念提出的課題便是，希望能實(shí)時地根據(jù)用戶反饋進(jìn)行智能化調(diào)配流量分配，動態(tài)地進(jìn)行賽馬，保證實(shí)踐期間收益的最大化。故此，本質(zhì)上為double E的問題，即在快速發(fā)現(xiàn)并收斂至最優(yōu)的實(shí)驗(yàn)組策略，以及探索可能出現(xiàn)的更優(yōu)實(shí)驗(yàn)中實(shí)現(xiàn)平衡。而底層利用的就是貝葉斯的理論，實(shí)現(xiàn)零時間成本、零分析成本、零人工介入方式實(shí)現(xiàn)智能化、自動化的流量調(diào)優(yōu)。

而MAB技術(shù)或者能力非常適合運(yùn)營推送文案的賽馬、落地頁動態(tài)優(yōu)選、MVT多變量智能組合擇優(yōu)、廣告投放策略自動優(yōu)選，以及許多想做多組合元素的智能擇優(yōu)的策略。

6. 小游戲送元寶的MAB實(shí)驗(yàn)

舉一個MAB應(yīng)用到游戲領(lǐng)域的例子。游戲往往會建立一套完善的激勵措施或激勵體系，這個游戲便通過發(fā)元寶的激勵召回了流失用戶；而運(yùn)營人員設(shè)計了四組文案。哪組文案跑量最好？

一開始，四組文案均分，流量迭代調(diào)優(yōu)之后，B、D匯集了大部分流量；C有小眾偏好，A的轉(zhuǎn)化率非常低，慘遭淘汰。

于是通過一個MAB實(shí)驗(yàn)，可以看到，對比經(jīng)典的均分流量實(shí)驗(yàn)，該實(shí)驗(yàn)整體點(diǎn)擊率提升了9.2%，因此活動期間，收益已經(jīng)相對客觀。

7. 最后老板采用了誰的方案？

回到一開始埋下的那個伏筆。在租車公司案例中，產(chǎn)品經(jīng)理與運(yùn)營經(jīng)理發(fā)生了激烈沖突，大家各執(zhí)己見。那么最終，老板的解決方案是什么？

就是AB測試。既然無法判斷誰更有理，那便“是騾子是馬，先拉出來溜溜”。

因此跑完了一個月的實(shí)驗(yàn)過后，產(chǎn)品經(jīng)理的策略——租金與押金分為兩個頁面——勝出了，看似違背了運(yùn)營常識、拉長了整個運(yùn)營流程，但最終，下單的完成轉(zhuǎn)化率提升了1%，帶來了可觀營收，而數(shù)據(jù)結(jié)果也讓運(yùn)營經(jīng)理心服口服。

跳出AB測試的討論，其實(shí)AB測試與其他的數(shù)據(jù)產(chǎn)品匹配起來才能發(fā)揮其更大價值。

如一站式全域數(shù)據(jù)智能營銷平臺。該平臺目的是幫助運(yùn)營人員實(shí)現(xiàn)數(shù)字化、自動化、智能化的運(yùn)營。上面的流量地圖解決了“看什么”的問題，即where we are。通過用戶行為增長分析工具搭配，提供整體流量運(yùn)營指標(biāo)展示、外部流量轉(zhuǎn)化效果展示、APP觸點(diǎn)互動效果展示，以及運(yùn)營效果展示等。

第二步解決了“做什么”的問題，該部分即數(shù)據(jù)營銷地圖的自動化部分，基于底層全域客戶數(shù)據(jù)的畫像平臺、或叫旅程平臺，以及上面的智能流量運(yùn)營工具、營銷平臺，再結(jié)合物料庫、客群庫和策略庫，提供自動化的能力。

策略優(yōu)化部分解決了智能化的部分，基于AB測試，以及個性化的、千人千面相關(guān)的算法和能力，提供了基礎(chǔ)的決策引擎。

上述便是我們一站式的數(shù)字化、自動化、智能化的運(yùn)營體系。

六、結(jié)語

最后分享一點(diǎn)個人感想。

AB測試是一個非常有用的工具，但也僅僅是一個工具而已，它沒有辦法告訴產(chǎn)品經(jīng)理用戶的真實(shí)訴求是什么。

但是同理心可以。同理心可以讓產(chǎn)品經(jīng)理與用戶共鳴甚至感同身受，因此沒有同理心的產(chǎn)品，必然是一個無用的、沒有靈魂的產(chǎn)品。

但是僅有同理心并不夠，同理心只能讓你的產(chǎn)品是有用的；若想做出一個杰出而偉大的產(chǎn)品，你還需要有想象力，結(jié)合想象力為產(chǎn)品插上騰飛的翅膀。

因此2019年3月份時，一鳴在字節(jié)跳動成立七周年大會上說了這樣一句話：

同理心是地基，想象力是天空，中間是邏輯和工具。

這么多年，我一直深以為然，這大概就是新互聯(lián)網(wǎng)時代，互聯(lián)網(wǎng)人一種務(wù)實(shí)的浪漫主義；或許AB測試、以及其他一些理論基石，是未來解鎖產(chǎn)品經(jīng)理之門的一把鑰匙。

相關(guān)閱讀

移動互聯(lián)網(wǎng)的第二戰(zhàn)場：增長、下沉，把握大的變局——2021產(chǎn)品經(jīng)理大會·北京站現(xiàn)場報道

重構(gòu)數(shù)據(jù)根基，打造數(shù)據(jù)閉環(huán)

2021全年大會排期預(yù)告

2021產(chǎn)品經(jīng)理大會北、上、廣、深、杭 5 城巡回進(jìn)行中?。?！與騰訊、阿里等大廠實(shí)戰(zhàn)專家一起，分享實(shí)踐案例，探索行業(yè)趨勢，提升個人能力，解碼產(chǎn)品經(jīng)理未來！

掃描下圖二維碼進(jìn)全年大會專屬咨詢?nèi)毫私庠斍椋〗衲曜詈?場產(chǎn)品經(jīng)理大會，廣州、杭州、深圳站即將開幕！搶票速來！

本文為【2021年產(chǎn)品經(jīng)理大會·北京站】現(xiàn)場分享整理內(nèi)容，由人人都是產(chǎn)品經(jīng)理運(yùn)營 @Aine 整理發(fā)布。未經(jīng)許可，禁止轉(zhuǎn)載，謝謝合作

題圖來自大會現(xiàn)場