解剖屎山,尋覓黃金之第二彈 世界熱頭條
- 程序員客棧
- 2023-06-11 19:22:17
大家好,我3y啊。由于去重邏輯重構(gòu)了幾次,好多股東直呼看不懂,于是我今天再安排一波對(duì)代碼的解析吧。austin支持兩種去重的類型:N分鐘相同內(nèi)容達(dá)到N次去重和一天內(nèi)N次相同渠道頻次去重。
在最開始,我的第一版實(shí)現(xiàn)是這樣的:
(資料圖片)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//運(yùn)營(yíng)總規(guī)則去重(一天內(nèi)用戶收到最多同一個(gè)渠道的消息次數(shù))Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那時(shí)候很簡(jiǎn)單,基本主體邏輯都寫在這個(gè)入口上了,應(yīng)該都能看得懂。后來,群里滴滴哥表示這種代碼不行,不能一眼看出來它干了什么。于是怒提了一波pull request重構(gòu)了一版,入口是這樣的:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把構(gòu)建去重參數(shù)和選擇具體的去重服務(wù)給封裝起來了,在最外層的代碼看起來就很簡(jiǎn)潔了。后來又跟他聊了下,他的設(shè)計(jì)思路是這樣的:考慮到以后會(huì)有其他規(guī)則的去重就把去重邏輯單獨(dú)封裝起來了,之后用策略模版的設(shè)計(jì)模式進(jìn)行了重構(gòu),重構(gòu)后的代碼 模版不變,支持各種不同策略的去重,擴(kuò)展性更高更強(qiáng)更簡(jiǎn)潔
確實(shí)牛逼。
我基于上面的思路微改了下入口,代碼最終演變成這樣:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到這,應(yīng)該大多數(shù)人還能跟上吧?在講具體的代碼之前,我們先來簡(jiǎn)單看看去重功能的代碼結(jié)構(gòu)(這會(huì)對(duì)后面看代碼有幫助)
去重的邏輯可以統(tǒng)一抽象為:在X時(shí)間段內(nèi)達(dá)到了Y閾值,還記得我曾經(jīng)說過:「去重」的本質(zhì):「業(yè)務(wù)Key」+「存儲(chǔ)」。那么去重實(shí)現(xiàn)的步驟可以簡(jiǎn)單分為(我這邊存儲(chǔ)就用的Redis):
通過Key從Redis獲取記錄判斷該Key在Redis的記錄是否符合條件符合條件的則去重,不符合條件的則重新塞進(jìn)Redis更新記錄為了方便調(diào)整去重的參數(shù),我把X時(shí)間段和Y閾值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有兩種去重的具體實(shí)現(xiàn):
1、5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容,則應(yīng)該被過濾掉
2、一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次,則應(yīng)該被過濾掉
從配置中心拿到配置信息了以后,Builder就是根據(jù)這兩種類型去構(gòu)建出DeduplicationParam,就是以下代碼:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了類似的寫法(在子類初始化的時(shí)候指定類型,在父類統(tǒng)一接收,放到Map里管理)
而統(tǒng)一管理著這些服務(wù)有個(gè)中心的地方,我把這取名為DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的業(yè)務(wù)Key,是在AbstractDeduplicationService的子類下構(gòu)建的:
而具體的去重邏輯實(shí)現(xiàn)則都在LimitService下,{一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次}是在SimpleLimitService中處理使用mget和pipelineSetEX就完成了實(shí)現(xiàn)。而{5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容}是在SlideWindowLimitService中處理,使用了lua腳本完成了實(shí)現(xiàn)。
LimitService的代碼都來源于@caolongxiu的pull request,建議大家可以對(duì)比commit再學(xué)習(xí)一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、頻次去重采用普通的計(jì)數(shù)去重方法,限制的是每天發(fā)送的條數(shù)。
2、內(nèi)容去重采用的是新開發(fā)的基于redis中zset的滑動(dòng)窗口去重,可以做到嚴(yán)格控制單位時(shí)間內(nèi)的頻次。
3、redis使用lua腳本來保證原子性和減少網(wǎng)絡(luò)io的損耗
4、redis的key增加前綴做到數(shù)據(jù)隔離(后期可能有動(dòng)態(tài)更換去重方法的需求)
5、把具體限流去重方法從DeduplicationService抽取出來,DeduplicationService只需設(shè)置構(gòu)造器注入時(shí)注入的AbstractLimitService(具體限流去重服務(wù))類型即可動(dòng)態(tài)更換去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是當(dāng)前的時(shí)間戳
針對(duì)滑動(dòng)窗口去重,有會(huì)引申出新的問題:limit.lua的邏輯?為什么要移除時(shí)間窗口的之前的數(shù)據(jù)?為什么ARGV[4]參數(shù)要唯一?為什么要expire?
A: 使用滑動(dòng)窗口可以保證N分鐘達(dá)到N次進(jìn)行去重?;瑒?dòng)窗口可以回顧下TCP的,也可以回顧下刷LeetCode時(shí)的一些題,那這為什么要移除,就不陌生了。
為什么ARGV[4]要唯一,具體可以看看zadd這條命令,我們只需要保證每次add進(jìn)窗口內(nèi)的成員是唯一的,那么就不會(huì)觸發(fā)有更新的操作(我認(rèn)為這樣設(shè)計(jì)會(huì)更加簡(jiǎn)單些),而唯一Key用雪花算法比較方便。
為什么expire?,如果這個(gè)key只被調(diào)用一次。那就很有可能在redis內(nèi)存常駐了,expire能避免這種情況。
推薦項(xiàng)目最后再叨叨吧,很多人可能會(huì)發(fā)一段截圖,跑來問我為什么要這樣寫,為什么要以這種方式實(shí)現(xiàn),能不能以這種方式實(shí)現(xiàn)。這時(shí)候,我更想看到的是:你已經(jīng)實(shí)現(xiàn)了第二種方式了,然后探討你寫的這種方案好不好,現(xiàn)有的代碼差在哪里。
畢竟問問題很簡(jiǎn)單,我又不是客服,總不能沒誠(chéng)意的問題我都得一一回答吧。
如果想學(xué)Java項(xiàng)目的,我還是強(qiáng)烈推薦我的開源項(xiàng)目消息推送平臺(tái)Austin,可以用作畢業(yè)設(shè)計(jì),可以用作校招,可以看看生產(chǎn)環(huán)境是怎么推送消息的。
倉(cāng)庫(kù)地址(可點(diǎn)擊閱讀原文跳轉(zhuǎn)):https://gitee.com/zhongfucheng/austin
我開通了股東服務(wù)內(nèi)容,感興趣可以點(diǎn)擊下方看看,主要針對(duì)的是項(xiàng)目喲
VIP服務(wù)
關(guān)鍵詞:
觀焦點(diǎn):福建十部門印發(fā)實(shí)施意見 新能源汽車可免費(fèi)停車2小時(shí)
- 創(chuàng)新引領(lǐng),創(chuàng)業(yè)筑夢(mèng) 第十二屆中國(guó)創(chuàng)新創(chuàng)業(yè)大賽(福建賽區(qū))火熱報(bào)名|每日簡(jiǎn)訊
- 福建省委書記周祖翼赴漳州調(diào)研
- 福建第一條海底電纜生產(chǎn)線成功試生產(chǎn)_天天熱推薦
- 實(shí)時(shí):為期3天的2023年福建省普通高考圓滿結(jié)束
- 當(dāng)前視訊!福建省首家菌草微生物技術(shù)產(chǎn)業(yè)研究院揭牌
- 當(dāng)前聚焦:最新!福建福州、莆田兩地發(fā)布一批人事任免
- 福建:擴(kuò)投資穩(wěn)增長(zhǎng) 專項(xiàng)債再發(fā)力 前沿?zé)狳c(diǎn)
- 福建省啟動(dòng)智慧財(cái)審系統(tǒng) 提升效率24.53%
- 世界報(bào)道:福建武夷山:讓游客坐上安全的觀光“小火車”
- 解剖屎山,尋覓黃金之第二彈 世界熱頭條2023-06-11
- 國(guó)鐵集團(tuán)6月10日起在12306網(wǎng)站試行在線選鋪2023-06-11
- 趕緊轉(zhuǎn)給爸媽!陜西警方緊急預(yù)警!2023-06-11
- 22歲女孩拿快遞失聯(lián)已第9天 她是家里頂梁2023-06-11
- 【世界熱聞】網(wǎng)傳“男子制止校園霸凌遭辱罵2023-06-11
- 新疆“高燒”不退:今日15時(shí)托克遜溫度達(dá)442023-06-11
- @全體高考生 這份“考后貼士”請(qǐng)查收2023-06-11
- 6月13日起,天安門城樓恢復(fù)開放!須提前一2023-06-11
- 新疆阿克蘇地區(qū)沙雅縣發(fā)生3.8級(jí)地震 震源2023-06-11
- 廣西調(diào)運(yùn)1萬(wàn)多件應(yīng)急物資支援合浦防汛救災(zāi)2023-06-11
- 各地稅務(wù)部門不斷優(yōu)化服務(wù) 前5個(gè)月新辦涉2023-06-11
- 世界要聞:科普?qǐng)D解 | 筑牢生態(tài)屏障!一2023-06-11
- 點(diǎn)淘app怎么填寫邀請(qǐng)碼 點(diǎn)淘app填寫邀請(qǐng)2023-06-11
- 全球觀天下!審計(jì)對(duì)象案例(審計(jì)對(duì)象)2023-06-11
- 搭載2.0T+8AT動(dòng)力!掀背造型!大空間車型?2023-06-11
- 路由器怎么設(shè)置密碼?2023-06-11
- 楊振寧的妻子都是誰(shuí)(楊振寧的妻子)-今日2023-06-11
- 【天天聚看點(diǎn)】怎樣按姓氏筆畫排序WPS(怎2023-06-11
- 中國(guó)移動(dòng)招標(biāo)與采購(gòu)網(wǎng)登陸不了(中國(guó)移動(dòng)招2023-06-11
- 環(huán)球消息!天貓積分怎么兌換現(xiàn)金_天貓積分2023-06-11
- 當(dāng)前快報(bào):脊椎骨疼是怎么回事呀_脊椎骨疼是2023-06-11
- 資訊:貝殼頭三葉草GW9587_貝殼頭三葉草2023-06-11
- 權(quán)志龍經(jīng)紀(jì)合約正式到期, YG稱計(jì)劃協(xié)商單2023-06-11
- 趕緊轉(zhuǎn)給爸媽!陜西警方緊急預(yù)警!-當(dāng)前通2023-06-11
- 每日消息!22歲女孩拿快遞失聯(lián)已第9天 她是2023-06-11
- 北京國(guó)安與主教練斯坦利·門佐解約 通訊2023-06-11
- 天天快資訊:大寫的心疼!湖北一地遭遇冰雹2023-06-11
- 日本北海道地區(qū)附近發(fā)生6.3級(jí)左右地震2023-06-11
- 110秒緬懷丨5年了,那時(shí)的痛惜和感動(dòng),你可2023-06-11
- 機(jī)構(gòu)論后市丨A股底部信號(hào)再確認(rèn);有望逐步2023-06-11