文|王與桐

編輯|石亞瓊

封面來源|ICphoto

在距離北京200多公里、被稱為阿里巴巴“數(shù)據(jù)心臟”的壩上數(shù)據(jù)中心，冬季氣溫最低能到零下38度，風(fēng)大得讓人張不開嘴。這里的除夕，每年都有阿里云的“巡查兵”駐守在Ecc監(jiān)控室里，除了要確保水電油的基本設(shè)施正常運轉(zhuǎn)，還要預(yù)防嚴(yán)寒給服務(wù)器帶來的突發(fā)狀況。

2019年的除夕到初二，由阿里云的太佑在這里值班。因為知道自己是最后一道防線，對于整個系統(tǒng)的運作來說非常重要，所以他的心態(tài)還不錯：“這里的好處是鞭炮可以隨便放！”

數(shù)據(jù)中心作為服務(wù)器的“家”，是用戶網(wǎng)絡(luò)生活的正常進(jìn)行的基礎(chǔ)，在春節(jié)這種流量高峰，更容不得一絲差池。

而太佑只是為了讓我們春節(jié)搶紅包、發(fā)朋友圈、看網(wǎng)絡(luò)春晚、打游戲更順利的工程師之一。

在除夕佳節(jié)，萬家歡聚，共享團(tuán)圓的時刻，來自各大廠的工程師們，或在公司大廈，或在機(jī)房，或在家卻對著電腦，他們都在加班，為的是對抗十幾億流量對服務(wù)器帶來的沖擊：

2022年，京東成立8個項目組，由京東零售集團(tuán)主導(dǎo)，物流、科技等子公司協(xié)助，負(fù)責(zé)春晚紅包的發(fā)放； 2021年除夕，騰訊云及騰訊底層技術(shù)團(tuán)隊有數(shù)百位工程師選擇留在公司值班、客戶現(xiàn)場、各地數(shù)據(jù)中心等一線值班； 金山云今年組建了百余人的運維團(tuán)隊，保證春晚直播的順利進(jìn)行； 2020年，快手投入幾百人參與春晚紅包研發(fā)團(tuán)隊； 2019年百度想方設(shè)法搞到了10萬臺服務(wù)器，上千名百度同事除夕加班，讓百度App平穩(wěn)度過因紅包發(fā)放造成的流量沖擊； ……

阿里云的太佑在室外巡檢風(fēng)冷冷水機(jī)組

當(dāng)春晚按時播放，當(dāng)年夜飯上桌，當(dāng)煙花綻放，對著電視刷手機(jī)的你或許不會知道，全國十多億人同時拿起手機(jī)，將會匯聚起怎樣的數(shù)據(jù)海嘯。

保證數(shù)字世界的正常有序運作，成為了各大廠及其工程師在春節(jié)時期的特殊使命。

這是一場春節(jié)不宕機(jī)的保衛(wèi)戰(zhàn)。

01 宕機(jī)：在流量高峰時到來

在PC互聯(lián)網(wǎng)時代，宕機(jī)很少發(fā)生，一是人們能夠上網(wǎng)的設(shè)備有限，又受地理位置限制，對于網(wǎng)絡(luò)熱點事件的參與度低，服務(wù)器收到的流量沖擊就少；二是，PC時代大家往往是“圍攻”一個熱點圖片或者視頻，服務(wù)器只需緩存這一個內(nèi)容就好。

但在移動互聯(lián)網(wǎng)時代，以朋友圈、微博為代表的UGC（User Generated Content，即用戶原創(chuàng)內(nèi)容）每個都不相同，服務(wù)器需要對每一個都進(jìn)行緩存。在這個基礎(chǔ)上，越大的流量，對服務(wù)器造成的沖擊就越大，宕機(jī)就會發(fā)生。

因此，春節(jié)時期，十幾億人無事可做，頻繁網(wǎng)絡(luò)沖浪的行為，就很容易給服務(wù)器帶來沖擊和壓力。

騰訊是第一批經(jīng)歷移動互聯(lián)網(wǎng)時代突如其來的流量高峰的廠商。

騰訊工程師在PC時代大多都正常過節(jié)休假，9天的假期也不帶電腦——去網(wǎng)吧連上VPN，上線、搬遷、下線就相當(dāng)于值班了。

變化在2014年除夕夜發(fā)生。那是4G開始普及、移動互聯(lián)網(wǎng)起勢的一年，那年春節(jié)前十幾天，為活躍新年氣氛，騰訊在微信里加入了搶紅包功能。春節(jié)紅包正式上線前，團(tuán)隊內(nèi)測時便發(fā)現(xiàn)，這個“小功能”使用人數(shù)遠(yuǎn)遠(yuǎn)超過預(yù)期：從廣州等一線城市開始，發(fā)紅包的習(xí)慣逐漸擴(kuò)展到二、三、四線城市，直至全國。

但這個功能一開始便是按照小系統(tǒng)來設(shè)計的，臨時為了用戶增長做改動已經(jīng)來不及了。

當(dāng)時的微信DAU剛超過1億，用戶數(shù)大概在4億左右，在除夕夜幾乎所有擁有微信的人，都開始發(fā)紅包、搶紅包。春節(jié)紅包團(tuán)隊迅速啟動了過載保護(hù)。過載用戶想發(fā)紅包時，系統(tǒng)會提示“當(dāng)前系統(tǒng)繁忙”。當(dāng)時開發(fā)紅包的技術(shù)團(tuán)隊臨時調(diào)來了10倍于原設(shè)計數(shù)量的服務(wù)器，才扛住了考驗。

與此同時，騰訊存儲那邊也出問題了。大家搶到的紅包截圖以及新年祝福，都密集地在朋友圈發(fā)送，觸發(fā)了已設(shè)置好的過載預(yù)警線。用戶的直觀感受就是你的消息對方無法及時看到，你也可能無法及時收到朋友發(fā)給你的微信/朋友圈。存儲團(tuán)隊和微信團(tuán)隊都緊急調(diào)出了運維工程師進(jìn)行處理，擴(kuò)容、改良分發(fā)策略。

2014年之后，騰訊吸取教訓(xùn)，開始了每年春節(jié)加班值班的“傳統(tǒng)”。

其他所有要參與到春節(jié)活動的大廠，也從那時開始學(xué)會了提前準(zhǔn)備。

02 紅包：全民的狂歡，大廠的加班

提前準(zhǔn)備的內(nèi)容并沒有大家想想的那么簡單。

一個明顯的“洪峰”是每年的搶紅包活動。自2015年微信開啟春晚搶紅包后，每年有一家頂尖互聯(lián)網(wǎng)公司走上舞臺，給十幾億人發(fā)紅包，今年是抖音，去年是快手，2019年是百度，2018年是淘寶，2016年是支付寶，每年金額逐漸加碼，新玩法也層出不窮。

圖片更新：2022年，京東準(zhǔn)備15億互動紅包和實物

紅包會在某一個或某幾個時間點集中揭曉和發(fā)放?？此浦皇前l(fā)了幾億的紅包，但其背后對技術(shù)的投入遠(yuǎn)不止這些。

搶紅包非常容易帶來宕機(jī)狀況，原因基本是這幾個：1.不可預(yù)見的峰值流量瞬間涌入，2.紅包系統(tǒng)架構(gòu)復(fù)雜帶來了協(xié)調(diào)成本，3.春節(jié)返鄉(xiāng)導(dǎo)致地區(qū)間流量資源分配要臨時調(diào)整，4.與外部資源協(xié)作出現(xiàn)問題，5.新形式需要新技術(shù)做匹配。

為了解決這些問題，紅包承辦方和云廠商沒少費心思：

不可預(yù)見的峰值流量瞬間涌入，這點在前幾年的摸著石頭過河后，后面的大廠基本能做到“心中有數(shù)”。

2018年春晚，淘寶紅包項目的技術(shù)團(tuán)隊雖然很早就預(yù)估到了登錄系統(tǒng)壓力，但當(dāng)時基于一些歷史數(shù)據(jù)推導(dǎo)出了極端情況，最終決定以2017年雙十一的容量為基礎(chǔ)，對登錄數(shù)擴(kuò)容3倍。結(jié)果，春晚當(dāng)晚登錄的實際峰值超過了2017年雙十一的15倍，尤其新用戶的瞬時登錄更是完全超出預(yù)料。

好在有了前幾年的數(shù)據(jù)基礎(chǔ)，后來者對數(shù)據(jù)的估算也會相對準(zhǔn)確一些。百度技術(shù)部門在春晚前就測算過，春晚期間登錄值可達(dá)到日常用戶登錄峰值的2500倍，流量據(jù)測算每秒峰值將會達(dá)到5000萬次，每分鐘的峰值將會達(dá)到10億次，而能支撐這些流量的云計算系統(tǒng)，由10萬臺服務(wù)器組成。

紅包系統(tǒng)架構(gòu)復(fù)雜帶來了協(xié)調(diào)成本。與單純的登錄、發(fā)布、評論不同，搶紅包項目往往和紅包業(yè)務(wù)系統(tǒng)、交易支付系統(tǒng)、零錢賬戶系統(tǒng)這三個層級之間轉(zhuǎn)換，因為一個紅包如果是通過銀行卡發(fā)出，必須要先向銀行提出申請，銀行會進(jìn)行扣款，扣款成功后，后臺會通知支付系統(tǒng)，紅包系統(tǒng)到這時才會把紅包放出。在其他用戶搶到紅包后，又會以零錢形式進(jìn)入用戶賬戶中。

紅包幾秒鐘現(xiàn)金出出進(jìn)進(jìn)，都需要耗費服務(wù)器資源，由于資金頻繁進(jìn)出銀行，部分銀行的技術(shù)能力又非常有限，因此大廠還需要前提和銀行協(xié)調(diào)測試。

春節(jié)返鄉(xiāng)導(dǎo)致地區(qū)間流量資源分配要臨時調(diào)整的情況，在“鼓勵就地過年”的今年或許會稍有好轉(zhuǎn)。

用戶的的地理位置改變，會導(dǎo)致流量結(jié)構(gòu)帶來變化，DC數(shù)據(jù)中心和CDN帶寬不得不進(jìn)行調(diào)整。每年，阿里云、騰訊云、金山云等廠商，都要與三大運營商一起提前規(guī)劃好不同的確所需要的網(wǎng)絡(luò)資源，再通過智能調(diào)度系統(tǒng)感知不同的確資源緊張程度，并進(jìn)行相對應(yīng)的資源調(diào)度和補給。

春晚是一個大協(xié)作，依賴很多外部資源：應(yīng)用商店、服務(wù)器、帶寬、CDN。比如如果應(yīng)用商店不擴(kuò)容，也會被春晚導(dǎo)入的用戶搞癱，雖然2019年百度斥10萬臺服務(wù)器保障搶紅包活動的順利進(jìn)行，但當(dāng)晚蘋果、小米、華為系統(tǒng)的應(yīng)用商城部分系統(tǒng)出現(xiàn)崩潰，全國有200萬-300萬人無法下載百度App。

百度員工在春晚前“拜”楊超越

隨著短視頻的火爆，搶紅包活動也在于短視頻進(jìn)行結(jié)合。2020年和2021年，春晚紅包的合作伙伴分別是快手和抖音，這兩家短視頻平臺。與之前的圖文形式的搶紅包不同，2020年快手采取的是“看視頻+點贊”搶紅包?？焓止俜綌?shù)據(jù)顯示春晚直播間累計觀看人次7.8億，最高同時在線人數(shù)2524萬，短視頻內(nèi)容所需帶寬是文本的50-100倍，但基于高性能可伸縮的AI架構(gòu)能力進(jìn)行富媒體處理，內(nèi)容審核、內(nèi)容生產(chǎn)、內(nèi)容分發(fā)、內(nèi)容消費各個環(huán)節(jié)均全面應(yīng)用AI技術(shù)，在保證用戶順暢搶紅包的同時，也確保短視頻、直播、社區(qū)等功能可用。

03更多的保衛(wèi)戰(zhàn)，在紅包之外

這些年，紅包背后的技術(shù)越來越穩(wěn)，騰訊作為旁觀者能夠感受到。

這是因為，不管最終揭曉的金額是多少，1.88，6.88，還是288，大家都會截圖分享到社交環(huán)境里，也就是發(fā)朋友圈或者發(fā)到微信群。

我們發(fā)送的圖片、動圖、視頻等海量信息會給存儲器的存儲容量、通信干線信道的帶寬、頁面加載速度增加極大的壓力。 因此某一時間段節(jié)點，出現(xiàn)高于往常十倍的朋友圈密集發(fā)送現(xiàn)象，就會給騰訊的數(shù)據(jù)中心帶來巨大壓力；如果其他App并非同一時間揭曉、發(fā)放紅包，那么大家分享到朋友圈的速度也不是同步的，騰訊數(shù)據(jù)中心監(jiān)測到的壓力將不是暴增的，而是逐步的。

因此，騰訊云架構(gòu)平臺技術(shù)運營與質(zhì)量中心總監(jiān)高向冉開玩笑說，騰訊支持并檢驗了很多“友商”的紅包活動：“很多時候，友商活動策劃做的是否完美，是可以通過我們‘檢驗’的?！?/p>

紅包之外的服務(wù)器壓力，還有春晚本身。

移動互聯(lián)網(wǎng)的普及帶火了春晚直播。截至2020年1月24日24時，2020年春晚在新媒體平臺的直播收看人次累積突破11.16億人次，電視端直播僅有5.89億人次觀看。而春晚直播的技術(shù)和前面提到的紅包、存儲有相似之處，但又不太大相同。

相同之處在于，同樣都是由云計算提供的支持保障。不同之處在于，搶紅包、發(fā)朋友圈是瞬間的高并發(fā)壓力，而視頻直播的壓力來自網(wǎng)絡(luò)帶寬。從去年開始央視春晚直播采用了5G超清、VR直播等新形式，視頻的帶寬是圖像的千倍萬倍，這讓視頻傳輸?shù)碾y度更大。

擅長視頻編解碼技術(shù)的金山云從2017年起參與了4年服務(wù)春晚網(wǎng)絡(luò)直播。針對5G、4K/8K高清直播和VR等新形式研發(fā)的AI+視頻云新技術(shù)，能夠?qū)崿F(xiàn)節(jié)省帶寬，匹配碎片化的終端，針對高清內(nèi)容設(shè)計了大容量分發(fā)節(jié)點以適應(yīng)“大內(nèi)容”等目的。

事實上，現(xiàn)在央視春晚的各種運維，都已經(jīng)不是單一大廠負(fù)責(zé)了，多云不僅是為了規(guī)避大流量、高并發(fā)、DDos攻擊等風(fēng)險，也是為了“術(shù)業(yè)有專攻”，讓不同大廠去做自己更擅長的事。

這兩年，春節(jié)對于大家已經(jīng)不再僅僅是物理空間的活動——看春晚、走親訪友那么簡單，在網(wǎng)絡(luò)世界沖浪甚至成為更重要的春節(jié)活動。甚至我們很多想象不到的流量沖擊，比如游戲登錄量會在春晚歌舞節(jié)目時暴增，比如每年初一的凌晨12點到12點10分這十幾分鐘里，朋友圈發(fā)送過多會給服務(wù)器帶來沖擊，比如假期時電影購票系統(tǒng)容易擁擠……

大廈千間并非憑空而來，技術(shù)是地基，而千千萬萬春節(jié)不回家的工程師，就是奠基人。

04 隱身的技術(shù)，和不回家的工程師

從2014年到2022年，各大廠應(yīng)對春節(jié)流量沖擊的技術(shù)不斷進(jìn)化。從最早的懵懵懂懂、毫無認(rèn)知，對技術(shù)難點預(yù)估不足，到后來每年都會提前做好準(zhǔn)備，但依舊要靠熔斷機(jī)制來限制流量，再到如今限制為輔，分布式、自動化、智能化為主，看似是騰訊、百度、阿里、金山在保障我們春節(jié)活動的進(jìn)行，實際上是云計算、4G（即將5G）、AI等技術(shù)在保駕護(hù)航。

我們?nèi)粘Ｔ诨ヂ?lián)網(wǎng)上的種種行為——微信聊天、發(fā)朋友圈、淘寶、百度搜索，以及每年在不同App上搶紅包，都會產(chǎn)生數(shù)據(jù)，而這些數(shù)據(jù)的傳輸、存儲、計算，都無比依賴4G（5G）、云計算、AI作為技術(shù)基礎(chǔ)。

浪潮信息聯(lián)合IDC發(fā)布的《2020全球計算力指數(shù)評估報告》表明，計算力指數(shù)平均每提高1個點，數(shù)字經(jīng)濟(jì)和GDP將分別增長3.3‰和1.8‰；美國以75分位列國家計算力指數(shù)排名第一，坐擁全球最多超大規(guī)模數(shù)據(jù)中心，中國獲得66分，位列第二。

來源：IDC

超大規(guī)模的數(shù)據(jù)量對處理效率提出更高要求，強(qiáng)大的云計算能力，為數(shù)字經(jīng)濟(jì)提供了倍增創(chuàng)新的源動力；傳輸技術(shù)3G-4G-5G的不斷演進(jìn)，又為數(shù)據(jù)的傳輸提供了更快、更寬闊的通道；通過AI來實現(xiàn)自動化、智能化，節(jié)省運營開支和時間，為更重要的數(shù)據(jù)處理讓出時間和位置。

具體到中國，每年春節(jié)的不宕機(jī)保衛(wèi)戰(zhàn)，都會成各大廠計算能力的檢驗和升華。

這是一個正向循環(huán)。“宕機(jī)”的壓力倒逼廠商的技術(shù)升級，進(jìn)而推動云計算、傳輸技術(shù)的發(fā)展；云計算、傳輸技術(shù)發(fā)展，又為各大廠的春節(jié)保衛(wèi)戰(zhàn)提供的技術(shù)基礎(chǔ)。

而正向循環(huán)的背后，是無數(shù)為了技術(shù)發(fā)展熬禿了頭的工程師，和為了讓技術(shù)在春節(jié)順利發(fā)揮作用而不回家的“打工人”。

每年支付寶都會有集五?；顒樱劷鹪诔σ构?。五福開獎后并不代表著工程師的工作結(jié)束，所有完成后大概凌晨一點多，一位花名是形修的支付寶同事會從那時起，從杭州出發(fā)橫跨整個中國，回到位于新疆阿拉爾的家。

一位經(jīng)歷過兩次春晚直播項目的金山云技術(shù)專家告訴36氪，部門主要負(fù)責(zé)人也會參與一線帶領(lǐng)百人團(tuán)隊奮戰(zhàn)直到的最后一秒，后勤團(tuán)隊也會保證食品和“年味”的供應(yīng)。

2019年除夕當(dāng)晚，百度大廈里1000多位同事、百度散落在各地機(jī)房的100位同事、帶著備用零件守候在機(jī)房的100多位服務(wù)器廠商的工程師、三大運營商為了保護(hù)網(wǎng)絡(luò)通暢而留守在各地機(jī)房的1000多位同事，都在為了順利完成紅包活動而加班，據(jù)說大廈里“靜地聽得見針落”。

他們的加班費用不低，一般是兩倍以上的工資，還會有項目的獎金。不過付出并不僅僅是為了錢，在采訪和資料查閱過程中，能感受到更多是信念在支持。春節(jié)運維不是小事。

如今，春節(jié)已經(jīng)成為了可以預(yù)判的峰值節(jié)點。據(jù)說，美國“超級碗”直播中間插播廣告的時候，電視機(jī)前的幾億觀眾會集體上廁所沖馬桶，導(dǎo)致美國各大城市的市政供水出現(xiàn)崩潰，而超級碗的全球觀眾僅有1.3億。

在十幾億人共度佳節(jié)、同刷手機(jī)的新春佳節(jié)，千千萬萬的工程師，通過潤物細(xì)無聲的新技術(shù)，讓每一個普通人在數(shù)字世界暢通無阻地生活。

本文來自微信公眾號“36氪”（ID:wow36kr），作者：王與桐石亞瓊，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 保衛(wèi)戰(zhàn) 紅包 工程師