建站
咨詢
售后
建站咨詢
新聞中心
一、問(wèn)題思考
在流量分析型產(chǎn)品的用戶分析模塊中，留存、互訪、新老客構(gòu)成等數(shù)據(jù)都是有效衡量用戶粘性與促活召回的關(guān)鍵性指標(biāo);但是，我們發(fā)現(xiàn)在很多流量運(yùn)營(yíng)的業(yè)務(wù)場(chǎng)景中，留存分析建模都顯著存在著設(shè)計(jì)和計(jì)算上的諸多問(wèn)題，例如：各種歷史庫(kù)版本迭代的高額運(yùn)維與存儲(chǔ)成本、暴力計(jì)算、頻繁計(jì)算、數(shù)據(jù)冷啟動(dòng)等問(wèn)題?？偨Y(jié)下來(lái)，有三個(gè)方面需要特別關(guān)注：
在霍山等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需定制開(kāi)發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,成都全網(wǎng)營(yíng)銷,成都外貿(mào)網(wǎng)站建設(shè)公司,霍山網(wǎng)站建設(shè)費(fèi)用合理。
1.場(chǎng)景理解：在非常多的業(yè)務(wù)場(chǎng)景中，模型研發(fā)人員偏向于通過(guò)構(gòu)建用戶粒度的全量歷史庫(kù)，再去聚合用戶的新老標(biāo)簽或歷史累計(jì)次數(shù)，但關(guān)鍵問(wèn)題是，在這些場(chǎng)景中基于歷史行為計(jì)算的新老客標(biāo)簽和歷史累計(jì)指標(biāo)，并不適用于該業(yè)務(wù)場(chǎng)景下的精細(xì)化運(yùn)營(yíng)。比如，在用戶增長(zhǎng)領(lǐng)域的流失召回等場(chǎng)景策略中，長(zhǎng)周期外仍然未有回訪的用戶顯然不具備再運(yùn)營(yíng)的潛質(zhì)(如180天等);那么，相比基于歷史庫(kù)圈選新用戶，改為基于動(dòng)態(tài)滑動(dòng)窗口的圈選策略，更具有可運(yùn)營(yíng)的潛質(zhì)和解釋性;并且，這種計(jì)算模式還可以有效地規(guī)避歷史庫(kù)回刷與冷啟動(dòng)問(wèn)題。
2.計(jì)算模式：在計(jì)算模型的設(shè)計(jì)和模式構(gòu)建上，大多數(shù)同學(xué)普遍缺少模型抽象與精細(xì)化設(shè)計(jì)。就累計(jì)去重指標(biāo)或周期留存指標(biāo)的計(jì)算實(shí)現(xiàn)來(lái)講，大致有4種建模范式(想知道第5種請(qǐng)繼續(xù)看下去)：
- 歷史庫(kù)方式：基于T+1全量和當(dāng)日增量構(gòu)建全量歷史庫(kù)，基于歷史庫(kù)再聚合
- 輕度聚合后再聚合：構(gòu)建T+1的輕度聚合模型，多周期掃描再聚合
- 歷史周期計(jì)拉鏈：以固定時(shí)間窗口方式構(gòu)建用戶標(biāo)簽表，計(jì)算時(shí)關(guān)聯(lián)標(biāo)簽表再聚合
- 位圖模式計(jì)算：以滑動(dòng)時(shí)間窗口方式構(gòu)建用戶標(biāo)簽表，并以位圖存儲(chǔ)窗口周期信息
3.模型易用：以上模型的實(shí)現(xiàn)都存在一定的研發(fā)成本，需要有豐富的場(chǎng)景實(shí)踐和經(jīng)驗(yàn)積累。如果能夠沉淀一套敏捷的標(biāo)準(zhǔn)化模型計(jì)算組件，讓新人可以在分鐘級(jí)就完成留存模型的智能研發(fā)，那么，就能以標(biāo)準(zhǔn)化的建模范式解決很多業(yè)務(wù)場(chǎng)景下的建模研發(fā)的效率問(wèn)題。
此外，豐富的場(chǎng)景實(shí)踐和持續(xù)的技術(shù)思考對(duì)于建模范式的演進(jìn)都是非常重要的。在某個(gè)節(jié)點(diǎn)之前，我們?cè)J(rèn)為位圖設(shè)計(jì)已經(jīng)是最優(yōu)實(shí)踐了，但是之后又在業(yè)務(wù)實(shí)踐中發(fā)現(xiàn)很多場(chǎng)景中需要計(jì)算更長(zhǎng)業(yè)務(wù)周期的用戶新老標(biāo)簽或留存分析。這時(shí)候，由于基于二進(jìn)制bigint存儲(chǔ)的位圖只能支持到64位，在180天等長(zhǎng)周期留存計(jì)算時(shí)就會(huì)溢出，因此，就需要更加通用且高效的模型計(jì)算抽象?？傊?，能夠高效支撐業(yè)務(wù)是最好的實(shí)踐標(biāo)準(zhǔn)，驅(qū)動(dòng)我們可以在建模范式上是不斷超越和顛覆。
二、用戶故事
螞蟻版生意參謀是面向支付寶商家的重要對(duì)客產(chǎn)品，當(dāng)時(shí)在20年12月份底，我們計(jì)劃在2月份全量上線B站，留給研發(fā)的時(shí)間非常吃緊。而由于是對(duì)客產(chǎn)品，在架構(gòu)設(shè)計(jì)、數(shù)據(jù)質(zhì)量、產(chǎn)出時(shí)效等各個(gè)方面都有更高標(biāo)準(zhǔn)的要求。此外，我們也必須基于新的數(shù)據(jù)資產(chǎn)架構(gòu)對(duì)螞蟻生意參謀的產(chǎn)品數(shù)據(jù)體系進(jìn)行全盤的重構(gòu)與升級(jí)。其中，流量模塊就涉及到了上文中提到的留存/互訪/新老等關(guān)鍵指標(biāo)的各類計(jì)算，我們需要在短時(shí)間內(nèi)快速消化和解決存量的應(yīng)用層鏈路中存在的很多問(wèn)題。而最終我們通過(guò)用戶留存的建模組件，以“重設(shè)計(jì)、快實(shí)現(xiàn)”的方式，在不到2天的時(shí)間內(nèi)就高效完成了小程序、生活號(hào)和電子名片等整體數(shù)據(jù)鏈路的重構(gòu)與升級(jí)，而且在模型設(shè)計(jì)、模型存儲(chǔ)和模型治理等方面，也取得了很多核心改變。特別是，經(jīng)過(guò)模型重構(gòu)后，生意參謀的產(chǎn)品數(shù)據(jù)體系變得異常精簡(jiǎn)、收斂和高效。那么，我們是怎么做到的呢?接下來(lái)，我們就詳細(xì)介紹留存建模組件的設(shè)計(jì)思路。
三 、設(shè)計(jì)實(shí)現(xiàn)
- 目標(biāo)抽象：用戶留存模型的建模抽象與組件構(gòu)建(支持超過(guò)64位圖的1/7/30/180天等周期性PV-UV、留存、互訪、新老客等指標(biāo)的一站式計(jì)算);
- 解決問(wèn)題：存在大量的暴力掃描、低效計(jì)算、高昂歷史回刷成本、數(shù)據(jù)冷啟動(dòng)等問(wèn)題，而高效的留存模型的設(shè)計(jì)和研發(fā)門檻高(位圖計(jì)算方式等)、缺少標(biāo)準(zhǔn)化的模型沉淀;
- 解決方案：提煉窗口滑動(dòng)計(jì)算的建模范式、沉淀留存建模組件，顯著提升研發(fā)效率(0.5人日)，支持留存/互訪/新老客等一站式計(jì)算;
1.模型抽象
- 維度抽象：用戶留存模型是典型的輕度聚合模型DWS，顯然要有聚合維度列。
- 設(shè)計(jì)抽象：滑動(dòng)窗口設(shè)計(jì)：首先需要記錄時(shí)間窗口內(nèi)的用戶行為分布(UV或PV)，并通過(guò)某種數(shù)據(jù)結(jié)構(gòu)來(lái)保存(如bit的Long值存儲(chǔ)或者是Array);其次要設(shè)計(jì)好窗口滑動(dòng)的更新邏輯;
- 信息抽象：關(guān)鍵聚合信息，如新客的判斷(N+1的時(shí)間窗口內(nèi)，第N天首次訪問(wèn)就是新用戶);last_date的數(shù)值化信息保留(累計(jì)多少天未訪問(wèn)，有效減少存儲(chǔ));累計(jì)訪問(wèn)天數(shù)(支持訪問(wèn)天數(shù)分布的人群分析);
2.模型組件
建模組件的設(shè)計(jì)就是將模型抽象的結(jié)果參數(shù)化與模板化實(shí)現(xiàn)，具體實(shí)現(xiàn)細(xì)節(jié)不詳述。
|
組件名 |
使用場(chǎng)景 |
提效結(jié)果 |
核心改變 |
|
用戶留存模型 |
生意參謀等1/7/30/180天PV-UV、留存、互訪、新老、交叉留存矩陣等指標(biāo)的一站式計(jì)算 |
研發(fā)提效提效前：0.5人日提效后：2 Min |
新人也可以毫無(wú)門檻地建模研發(fā) |
Dataworks任務(wù)節(jié)點(diǎn)參考：
- 節(jié)點(diǎn)ID：發(fā)布后的ODPS任務(wù)節(jié)點(diǎn)號(hào)
- 節(jié)點(diǎn)名稱：留存模型的表名(可自定義指定)
- 節(jié)點(diǎn)類型：ODPS SQL
節(jié)點(diǎn)任務(wù)配置：
jar -classpath 云端文件/res?id=xxx 類名.tools.OdpsCltWrapper
"--class" <留存模型的jar包>
"--properties-file" 云端文件/res?id=xxx
"--conf"
"--conf" "spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
"--conf" "spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
"--master" yarn-cluster
云端文件/res?id=xxx "--rTable" <輸入表的表名> "--wTable" <輸出表的表名: 即構(gòu)建的留存模型> "--stat_date" ${bizdate} "--window" 180;
3.下游使用
基于留存建模組件，基礎(chǔ)的模型結(jié)構(gòu)和計(jì)算范式都是標(biāo)準(zhǔn)且統(tǒng)一的，能夠在一個(gè)參數(shù)化邏輯中一站式實(shí)現(xiàn)所有指標(biāo)的計(jì)算，非常便捷;而下游相關(guān)的數(shù)據(jù)模型也變得異常精簡(jiǎn)、收斂和高效。
通過(guò)參數(shù)化視圖統(tǒng)一封裝指標(biāo)的一體化計(jì)算邏輯，下游不需要關(guān)注計(jì)算中的復(fù)雜邏輯，直接面向消費(fèi)，簡(jiǎn)潔易用，如：
--報(bào)表引用
insert overwrite table <留存矩陣_接口表> partition (dt='${bizdate}')
select spm,
date_row,
date_col,
retn_vst_uv_1d
from 留存矩陣分析_參數(shù)化視圖(留存模型table_name,'20211208')
where spm = 'XXX'
;
--計(jì)算引用
insert overwrite table <留存概覽_接口表> partition (dt='${bizdate}')
select vst_uv_1d,vst_uv_7d,vst_uv_30d,fst_uv_1d,retn_vst_uv_matrix,...
from 基礎(chǔ)留存分析_參數(shù)化視圖(留存模型table_name,'20211208')
where spm = 'XXX'
;
四、簡(jiǎn)要總結(jié)
核心改變：基于模型組件，可高效構(gòu)建用戶留存模型(0.5人日降低至2分鐘)，且支持超過(guò)64位圖的留存/互訪/新老指標(biāo)的標(biāo)準(zhǔn)化計(jì)算、避免下游多周期掃描與重復(fù)計(jì)算，尤其相比歷史庫(kù)表可減少4倍存儲(chǔ)(前：62字節(jié) vs 后后：16字節(jié))。
建標(biāo)準(zhǔn)：構(gòu)建了基于滑動(dòng)窗口實(shí)現(xiàn)的標(biāo)準(zhǔn)化留存模型，實(shí)現(xiàn)模型設(shè)計(jì)和數(shù)據(jù)計(jì)算上的改進(jìn)，有效解決了歷史庫(kù)版本迭代的高額運(yùn)維與存儲(chǔ)成本、下游的多周期掃描、頻繁計(jì)算和歷史庫(kù)冷啟動(dòng)等一系列問(wèn)題。
提效率：研發(fā)效率顯著提升(分鐘級(jí)實(shí)現(xiàn)用戶流量模型的標(biāo)準(zhǔn)化構(gòu)建)，讓我們?cè)诩皩?shí)現(xiàn)。
提效率：30min左右即可完成100億的留存模型計(jì)算。
降存儲(chǔ)：相比歷史庫(kù)設(shè)計(jì)可有效降低4倍存儲(chǔ)、且信息更完備。
網(wǎng)站名稱：用戶留存建模實(shí)踐
網(wǎng)頁(yè)地址：http://m.5511xx.com/article/dpeocsc.html
