千尋CORS如何做到“每秒服務百萬用戶”

千尋CORS特別“穩”，用過的人都知道。撐起千尋服務穩定性的，是一項名為“高并發”的技術能力。

　　什么是“高并發”？“高并發”是指大量用戶（終端）的快速接入。對于網絡平臺而言，如果不具備良好的高并發處理能力，輕則引發服務中斷，重則引起服務器宕機。

　　2021年 ，千尋位置高精度位置服務平臺的高并發能力已經達到了每秒百萬級，也就是說每秒鐘能夠為超過百萬級的用戶來同時提供高精度定位的服務。

　　這不僅是行業里面的冠軍，對標整個互聯網也是一個高水平能力。這是如何做到的呢？下面小編將從系統能力、運維能力兩個層面，分析其中的技術要點。

　　系統能力｜水平擴展基于分布式服務架構設計的千尋位置高精度位置服務平臺，具有“海量用戶”的服務擴展能力，增加服務器就可以服務更多用戶。在具體的實現路徑上，主要分為4步：第一步：自研SpaceX 高性能分布式框架千尋位置的服務具有覆蓋廣、規模大、實時性要求高等特點，需要千尋位置高精度位置服務平臺以高度的靈活性，實現效率最大化。針對這樣的情況，2015開始，千尋位置自主研發了內部代號為SpaceX的高性能分布式應用框架。

　　SpaceX框架：可以將一個龐大的計算任務劃分為若干個小任務，并分配給每臺計算機。計算機集群通過并行處理提高了效率，在統一管理控制下，完成大規模信息處理任務。國家北斗地基增強系統“全國一張網”的解算，就是通過SpaceX框架，分成幾千個小網任務，分布在上百臺機器同時進行解算。

　　第二步：快速復制數據的擴展塢程序Switch千尋位置針對快速復制國家北斗地基增強系統“全國一張網”能力，研發了一個擴展塢程序，它被命名為Switch。Switch將算法產生的網格數據復制多份，再將復制的數據分發給下游用戶。

　　第三步：提高效率，集中處理為提升處理性能，千尋位置高精度位置服務平臺中熱點識別應用會將用戶分布較多的區域識別出來，將相同地區用戶集中到一塊處理，大大提升性能，降低服務器壓力，達到降本增效效果。

　　第四步：用戶均勻分布，降低平均排隊時間用戶連接服務時，千尋位置高精度位置服務平臺會有專門的負載均衡SLB應用來指導用戶應該去哪個服務器處理。這樣每個服務器的壓力均衡，用戶平均等待時間就降低了。

　　系統能力｜服務高可用千尋位置高精度位置服務平臺除了要去支撐用戶，還要保證服務的高可用。千尋位置做了多套服務冗余備份，在數據中心之下分為6個可用區和3個隔離集群。

6個可用區，主要就是防止單機房故障，可用區的概念有點像當地的機房；·3個隔離區群，是按照千尋位置的業務群體進行劃分的。由于不同行業（智能電子設備、汽車、測繪RTK）對于高精度位置服務的要求和標準不同，隔離區群能夠做到互補干擾。

　　系統能力｜自我保護千尋位置高精度位置服務平臺在流量突增的時候擁有自我保護機制，主要是精準流控和熔斷機制。

　　一、精準流控有6種影響因素，主要包括算法A/B群灰度、鏈路規則、用戶應用、產品、區域、百分比，按照這6種因素不同的排列組合，可以形成適合不同用戶的策略。比如有一種策略，只適合廣東地區電力，那有這種路線規劃的話就可以把這個服務精準的去推到這個客戶上面。

　　二、熔斷機制的建設。千尋位置的服務其實是有容量的，比如說現在容量是1億，那突然來了2億流量，千尋位置的高精度位置服務平臺能去做到一個自我保護，優先保證服務好前1億用戶。隨著服務器擴展，逐漸去支持到后來涌入的2億流量。

　　運維能力｜快速診斷基于系統可視化和智能化定位能力，千尋位置高精度位置服務平臺可以進行問題的快速定位。

　　系統可視化能力由業務監控大屏、應用處理能力監控大屏、云資源服務狀態監控大屏組成。從這三個維度，系統就完完全全變成一個透明化。

　　業務監控大屏實時呈現用戶在線數量、整體分布、定位狀態、特定用戶群體以及在線的工具（測距、定位、回放）；· 應用處理能力監控大屏核心呈現用戶實時連接數、每秒新增連接數、每秒下線連接數；·云資源服務狀態監控則能查看CPU使用情況、內存使用情況、TCP網絡連接狀態等。

       智能化定位能力由系統控制臺、網格異常分析、基站異常分析構成，能夠主動判斷用戶服務是否正常、問題是否由基站引起以及是否由周邊環境影響。

　　運維能力｜快速恢復千尋位置高精度位置平臺具有從問題中快速恢復的能力，在實施層面分為快速響應 、記錄通知、啟動預案 、 工具化處理4個步驟。

　　首先，千尋位置設置了7*24小時值守的應用監控室，第一時間響應問題；其次，千尋位置應急響應平臺記錄事件，并通過電話、軟件系統通知相關運維、開發等處理人員；再次，日常處理預案留有記錄，運維人員結合系統流程 + 工具，自動化操作減少失誤，達到快速恢復的能力；最后，將日常標準流程歸納提煉之后，都升級為工具化執行，不需要人工干預，在提高效率的同時，也避免了因人為導致的不可控因素。

　　運維能力｜故障演練混沌工程是在分布式系統上進行實驗的學科。模擬功能性測試、性能測試、極端場景測試，通過長時間測試，發現系統以常規測試手段難以模擬和測試的BUG。

　　混沌工程主要解決極端的情況，比如說網絡中斷、服務器宕機等，它通過長時間測試，頻繁的去驗證，訓練出系統級的反應能力并加以鞏固，在真正遇到問題的時候給予反應。