業界最大數據湖0故障遷上阿里云！數據量達500PB
2024-11-06 21:23:14來源：快科技編輯：時寒峰
原標題：業界最大數據湖0故障遷上阿里云！數據量達500PB
11月6日消息，今天阿里云宣布，小紅書技術團隊近日完成了一項業界前所未有的壯舉，將業界最大數據湖0故障遷移至阿里云。
作為中國頭部互聯網公司之一，小紅書月活用戶已超過3億，其數據湖存儲了過去11年的所有原始數據，包括結構化、半結構化和非結構化數據。
隨著業務的高速增長，小紅書對在線處理數據的需求不斷增加，同時離線處理所積累的歷史問題也提高了切換的難度。
2023年11月，小紅書共有1500人參與遷云項目——計劃一年內，把小紅書的數據湖搬上阿里云，彼時即便是業界體量最大的案例，也遠小于小紅書的本次遷移。
2024年5月，項目正式進入雙跑階段，作為切換到正式環境前最后的測試，是穩定性最大的保障。
在這一階段，團隊需要解決的問題數不勝數，每周平均新增500多個問題。
在阿里云團隊的全力保障下，小紅書技術團隊順利完成了割接，沒有發生任何一個P2及以上故障。
2024年11月，小紅書遷云項目正式宣告結束，在沒有故障的情況下，遷移數據500PB，任務11萬，參與人數1500人，涉及部門40多個。
投稿郵箱：lukejiwang@163.com 詳情訪問鹿財經網：http://m.cqpengren.com
相關推薦
頭條資訊
