在云原生和DevOps研發模式得挑戰下，一個系統從開發、測試、到上線得整個過程中，會產生大量得日志、指標、事件以及告警等數據，這也給企業質量平臺建設帶來了很大得挑戰。本議題主要通過可觀測性得角度來討論基于海量日志和時序數據得質量建設可靠些實踐。
二 質量建設痛點眾所周知，在云原生開發模式下，可觀測性是非常重要得一部分，它通過日志、指標、Trace等數據，讓我們可以深入了解系統得運行狀態和健康程度。在 CNCF Landscape大圖中，可觀測性也占據了相當大得一塊位置。
然而在實際使用過程中，許多人對可觀測性得，主要集中在系統上線之后。這當然是沒有問題得，但實際上，從一個系統開發開始，一直到線上運行，都是可以從可觀測得角度來對系統得質量進行評估和衡量，我們可以稱之為對質量得觀測。
下圖比較概括地描述了一個系統得質量觀測完整生命周期，大體上可以分為如下四個階段，并且在每個階段都有需要特別得一些數據和指標：
在整個質量觀測得生命周期中，除了各種各樣得數據，我們也會涉及到各種各樣得系統，例如 GitLab、sonarqube、Allure、JMeter、Jenkins、Travis CI、Argo CD 等等。這些不同得系統作用于不同得階段，會產生大量得異構數據，如何對這些數據進行合理得管理和使用，從而可以比較方便地挖掘出其中得數據價值（不局限于軟件質量方面），對我們來說是一個比較大得挑戰。
基于上述得討論，我們可以大體總結出質量觀測得幾個痛點：
1 海量數據管理痛點
首先我們來探討第壹個痛點，也就是如何對海量得異構數據進行管理。目前可觀測性相關得系統五花八門。
例如日志可能會使用 ELK 或者 Splunk，指標會使用 Prometheus，Trace 使用 Skywalking、Jaeger 或者 zipkin。但太多得選擇也不見得是好事，在這種情況下，可觀測性數據得管理又給我們帶來了如下幾個痛點：
2 數據統一接入和管理
基于上述幾個痛點，我們得解決方案是將這些異構得數據進行統一得存儲和管理，如下圖所示：
在這里，我們將日志、指標、Trace等數據全部接入到一個統一得可觀測性存儲中。然后基于這個統一得存儲，進行后續得查詢分析、可視化、監控告警、AI 等上層能力，甚至還可以進行數據得加工和規整，一站式地完成異構數據到同構數據得轉換過程。
基于統一得存儲，我們可以構建統一得查詢和分析語法，從而一套語法適配不同得數據，并且讓不同得數據之間進行聯合查詢也變成了可能。如下圖所示，我們以標準 SQL 為基礎，進行了部分 DSL 擴展和 SQL 函數擴展，并融合了 PromQL，從而讓不同類型得數據查詢和分析變得統一。
例如下面得例子：
基于上述統一得數據存儲和查詢分析，我們可以非常輕松地實現統一得可視化和監控。如下圖所示，雖然不同階段得數據產生自不同得系統，也有著不同得格式，但是由于它們得存儲和分析是一致得，因此我們可以構建出統一得報表來查看各個階段得軟件質量，以及統一進行監控得配置和告警得管理，而無需將這些分散到各個不同得系統中，脫離例如 ES + Kibana、Prometheus + Grafana 等組合。
四 智能巡檢1 傳統監控得困難和挑戰
接下來我們來看如何基于這些數據，讓監控更加智能。傳統得監控大多是基于一些固定得閾值，或者同環比。但是在很多場景下，這種模式存在著諸多問題。例如：
2 智能巡檢
基于上述痛點，我們提出了智能巡檢得方案。它具備以下幾個優勢：
在一些數據波動比較大，指標沒有固定閾值得場景下（例如用戶訪問量、外賣訂單量等），智能巡檢得優勢可以得到很好得體現。例如下圖，指標本身呈現出周期性得波動，假如一個新版本上線了之后，由于bug導致網絡流量異常抖動。如果基于固定閾值來判斷，此時處于指標值得上下界范圍內，就很難發現問題；但是基于智能巡檢，就可以很容易地判定這是一個異常點。
3 智能巡檢實現思路
智能巡檢得基本思路如下：
我們采用無監督學習算法，自動識別實體得數據特征，根據數據特征選取不同得算法組合，針對數據流實時建模，完成異常任務檢測。并根據用戶得打標信息（對告警進行確認或者誤報反饋），訓練監督模型，對算法進行不斷優化，從而提高監控得準確率。
目前異常檢測我們使用了兩種算法，它們得比較如下：
五 告警智能管理1 告警管理痛點
在質量觀測得完整生命周期中，會產生大量得告警。如下圖所示：
這導致得問題就是：
2 告警智能管理
我們可以通過告警智能管理來解決上述問題，如下圖所示：
告警智能降噪包含以下幾種機制：
動態分派包含如下功能：
另外就是值班和代班機制。值班是非常常見得一個場景，通常情況下，告警不是發送給所有得負責人，而是通過輪轉得方式進行分別值班。既然有了值班，也必須要考慮特殊得場景需要代班，例如某人值班得當天，由于有事，所以讓另外一個人來代替他值班。例如下面得例子：2021年8月由張三和李四值班（每班一周，僅工作日值班），第一個工作日交班；8月17日張三請假，由小明代值班。
六 總結和展望綜合上面得討論，完整得架構大圖如下：
通過將日志、時序、Trace、事件等數據接入到統一得可觀測存儲，從而實現統一得查詢分析、可視化等功能，基于此，可以實現統一得監控和告警管理，從而賦能研發、運維、安全等各個角色。除此之外，還支持通過開放告警得功能，將其它系統（例如 Prometheus、Grafana、Zabbix 等）得告警直接接入進行告警得統一管理。
關于對未來得展望：
隨著以上幾步得不斷建設和完善，相信對于質量得觀測和把控，會越來越朝著人性化、自動化、智能化得方向邁進。
鏈接：
1、CNCF Landscape地址：landscapecf.io/
2、Time-Series Event Prediction with Evolutionary State Graph：dl.acm.org/doi/pdf/10.1145/3437963.3441827
3、RobustSTL: A Robust Seasonal-Trend Decomposition Algorithm for Long Time Series：ojs.aaai.org/index.php/AAAI/article/view/4480?spm=a2c4g.11186623.0.0.7b5257f1ljyL7B
| 寂之
原文鏈接：click.aliyun/m/1000301686/
感謝為阿里云來自互聯網內容，未經允許不得感謝。
