一、概述

隨著現(xiàn)代信息系統(tǒng)越來越龐大，機器數(shù)量呈現(xiàn)指數(shù)級增長，信息系統(tǒng)運維對平臺化服務能力要求越來越高，建立有效的監(jiān)控體系準確及時發(fā)現(xiàn)系統(tǒng)運行中出現(xiàn)的問題，對于保障應用系統(tǒng)穩(wěn)定運行具有重要意義。為提升生產(chǎn)問題感知及響應能力，通常會配置各種類型的監(jiān)控，本文從單類型監(jiān)控、業(yè)務交易之間聚合監(jiān)控、業(yè)務交易與基礎資源聚合監(jiān)控等方面介紹監(jiān)控常用技術方法，供讀者進行參考學習。

二、單類型監(jiān)控

單類型監(jiān)控是指使用單一類型技術進行應用系統(tǒng)監(jiān)控，常用的監(jiān)控方法包括Ajax請求報文響應報文監(jiān)控、業(yè)務日志監(jiān)控、頁面內(nèi)容監(jiān)控、業(yè)務數(shù)據(jù)監(jiān)控、基礎資源監(jiān)控。

方面對幾種監(jiān)控類型詳細介紹：

1、Ajax監(jiān)控：通過第三方監(jiān)控平臺定時發(fā)送業(yè)務交易請求，并對響應報文進行斷言的方法驗證交易的正確性。

方法1：http狀態(tài)碼監(jiān)控。對http請求的狀態(tài)碼進行判斷，是否符合預期結(jié)果，各類http狀態(tài)碼含義如下，我們僅需要配置狀態(tài)碼斷言即可判斷交易是否正常。

示例：

Request URL:https://msg.csdn.net/v1/web/message/view/unread

Request Method:POST

Status Code:200

方法2：http響應報文監(jiān)控。http狀態(tài)碼監(jiān)控可以監(jiān)控交易報文是否正常響應，但是無法判斷交易邏輯是否正常，對http報文響應報文具體內(nèi)容進行監(jiān)控，可以彌補該問題。通過判斷http響應報文中具體字段的值對交易進行監(jiān)控。

示例：ajax響應報文中包含如下信息，則可以對message字段的值進行監(jiān)控。

message:"success"

status:true

適用場景：適用于對http協(xié)議響應報文、響應碼進行監(jiān)控。

2、日志監(jiān)控：日志監(jiān)控是對應用系統(tǒng)運行過程中產(chǎn)生的日志進行監(jiān)控。以log4j為例，日志級別包括ALL、TRACE、DEBUG、INFO、WARN、ERROR、FATAL、OFF，其中ALL是打印所有日志，OFF是所有日志都不打印，為了排查系統(tǒng)運行問題，通常開發(fā)人員根據(jù)需要會打點一定的日志，但是如果loglevel配置的太低，則會打印過多的日志信息，從而影響系統(tǒng)性能。

日志監(jiān)控通常可以基于ERROR、FATAL類日志打印進行監(jiān)控。開發(fā)人員在業(yè)務邏輯中進行相應的判斷，并打印錯誤日志，例如：Log.error(“123456”);監(jiān)控平臺可以抓取系統(tǒng)中打印的錯誤日志，并基于正則表達式判斷是否符合異常告警條件。符合告警規(guī)則，則進行郵件、短信等告警。

日志告警可以精準獲取異常告警的代碼位置，從而便于進行問題分析。

適用場景：適用于系統(tǒng)開發(fā)人員在代碼的關鍵邏輯中打點了日志信息時使用。

3、網(wǎng)頁監(jiān)控：對于DOC類型的請求，可以通過發(fā)送請求報文，對響應頁面html內(nèi)容設置監(jiān)控，判斷響應頁面內(nèi)容是否包含指定的內(nèi)容，網(wǎng)頁內(nèi)容監(jiān)控是指監(jiān)控網(wǎng)頁標題、網(wǎng)頁關鍵詞、網(wǎng)頁描述、出站鏈接等內(nèi)容信息進行監(jiān)控。

使用方式：通過提取網(wǎng)頁內(nèi)容做為監(jiān)控的對象，對比與上一次監(jiān)測記錄的變化情況，例如：。

頁面監(jiān)控配置流程：

適用場景：具有前端頁面的系統(tǒng)可以采用該方法進行頁面內(nèi)容監(jiān)控。

4、數(shù)據(jù)監(jiān)控：通過定時執(zhí)行數(shù)據(jù)庫sql腳本或者數(shù)據(jù)分析，驗證具有關聯(lián)性的表是否出現(xiàn)不受控制的異常數(shù)據(jù)記錄，數(shù)據(jù)內(nèi)容監(jiān)控可以發(fā)現(xiàn)業(yè)務邏輯異常造成的數(shù)據(jù)問題，并及時提供給運營人員進行后續(xù)處理，以應對數(shù)據(jù)不一致對用戶產(chǎn)生的影響。

數(shù)據(jù)監(jiān)控分類如下：

數(shù)據(jù)監(jiān)控配置流程：

適用場景：對于熟悉數(shù)據(jù)表邏輯關系及不同表中字段之間邏輯關系時可以使用該方法。

5、資源監(jiān)控：對于CPU、內(nèi)存、硬盤等基礎資源的監(jiān)控，并設置閾值，對于分機房類應用系統(tǒng)，可以按照機房分別配置資源監(jiān)控，可以及時發(fā)現(xiàn)底層資源故障，提示系統(tǒng)運維人員及時進行資源擴容或者問題排查，具體重要的意義。

通常當CPU、內(nèi)存利用率超過80%時，系統(tǒng)性能將逐步出現(xiàn)瓶頸，從而會嚴重影響用戶使用體現(xiàn)，因此可以設置CPU、內(nèi)存等使用率超過80%時進行告警；對于數(shù)據(jù)庫服務，可以對數(shù)據(jù)庫的連接數(shù)、表空間、系統(tǒng)日志等信息進行監(jiān)控；對于磁盤、網(wǎng)絡設置可以監(jiān)控IO速率的參數(shù)以發(fā)現(xiàn)相關問題。

但基礎資源監(jiān)控無法具體判斷具體是哪些業(yè)務造成的資源問題，以及對哪些業(yè)務造成的影響比較大，結(jié)合其他監(jiān)控方法可以達到更好的效果。

幾種監(jiān)控方法對比：

適用場景：對于依賴的底層資源的服務可以采用這種監(jiān)控方法。

三、聚合類型監(jiān)控

1、交易調(diào)用鏈路聚合監(jiān)控

對于系統(tǒng)之間調(diào)用較為復雜的業(yè)務場景，僅僅通過單系統(tǒng)的監(jiān)控難以具體定位到故障節(jié)點。交易接口之間聚合監(jiān)控是指對已經(jīng)建立的具有調(diào)用關系的接口監(jiān)控項建立綁定關系，從而根據(jù)調(diào)用鏈路上各個節(jié)點的執(zhí)行結(jié)果判斷業(yè)務系統(tǒng)群的可用性情況及故障節(jié)點。

如下圖所示，A系統(tǒng)的一個業(yè)務交易trans1,調(diào)用B系統(tǒng)的交易和C系統(tǒng)的交易，B系統(tǒng)又會調(diào)用D系統(tǒng)交易。在這種場景下，僅僅對A系統(tǒng)業(yè)務交易進行監(jiān)控，發(fā)生告警后，無法準備判斷A、B、C、D 4個系統(tǒng)中哪個系統(tǒng)發(fā)生了故障，造成業(yè)務交易無法執(zhí)行成功，需要開發(fā)人員根據(jù)交易鏈條逐個判斷分析，大大增加了系統(tǒng)問題分析的難度。

使用交易調(diào)用鏈路聚合監(jiān)控方法，拿A系統(tǒng)trans1交易這個場景來說，對A、B、C、D 4個系統(tǒng)分別配置監(jiān)控案例mA、mB、mC、mD，并建立鏈路綁定關系（mA->mB、mB->mD、mB->mC）。這樣在系統(tǒng)發(fā)生告警后，可以根據(jù)A、B、C、D 4個系統(tǒng)監(jiān)控交易執(zhí)行情況，迅速找到故障節(jié)點。

A系統(tǒng)Trans1交易監(jiān)控案例綁定關系：

優(yōu)勢：能夠快速找到故障節(jié)點，降低故障分析復雜程度。因為交易監(jiān)控之間建立了綁定關系:mA->mB->mD、mB->mC，當mA、mB、mC、mD4個監(jiān)控項按照一定頻率執(zhí)行時并獲取到對應的執(zhí)行結(jié)果后，可以根據(jù)根據(jù)交易之間的綁定關系判斷故障節(jié)點。例如：

某時間節(jié)點：mD執(zhí)行成功，mB執(zhí)行失敗，mA執(zhí)行失敗，可以判斷是由于mB交易執(zhí)行失敗造成mA執(zhí)行失敗，從而提升問題處置效率。

缺點：配置復雜程度高，需要清楚交易調(diào)用鏈路，并分別配置監(jiān)控案例，并建立綁定關系。

適用場景：對于交易鏈路比較復雜，難以判斷問題故障具體出在什么位置的情況下建議增加使用該方法監(jiān)控。

2.業(yè)務監(jiān)控與資源監(jiān)控聚合

隨著信息系統(tǒng)復雜程度和可靠性要求的不斷提高，信息系統(tǒng)的部署架構(gòu)也越來越復雜。信息系統(tǒng)的部署會采用多地區(qū)多機房的部署方式，從而根據(jù)用戶所在區(qū)域訪問不同的后臺服務，以提升系統(tǒng)響應能力。業(yè)務監(jiān)控與資源監(jiān)控聚合是指將業(yè)務交易監(jiān)控與資源級監(jiān)控建立綁定關系，并根據(jù)各個監(jiān)控項的執(zhí)行結(jié)果進行聚合分析，從而判斷系統(tǒng)故障節(jié)點的監(jiān)控方法。

業(yè)務交易的可用性與基礎資源是緊耦合的關系，基礎資源的故障或性能瓶頸會嚴重影響業(yè)務交易的運行。通過業(yè)務交易監(jiān)控無法準備定位到具體哪些基礎資源故障引起。例如業(yè)務交易訪問失敗，可能是因為服務器停機、機器無法正常響應請求等問題造成。具體哪個資源故障造成業(yè)務交易無法正常執(zhí)行卻無法判斷。

通過將業(yè)務交易監(jiān)控和基礎資源監(jiān)控進行綁定聚合可以有效解決該問題。例如我們的業(yè)務系統(tǒng)已經(jīng)配置了業(yè)務監(jiān)控m1、tomcat服務器監(jiān)控m2、數(shù)據(jù)庫服務器監(jiān)控m3三個監(jiān)控配置，通過建立監(jiān)控項m1、m2、m3的綁定關系（如下圖所示），當發(fā)生基礎資源造成的業(yè)務交易報錯后，可以迅速找到問題原因以進行問題響應。

適用場景：對于業(yè)務交易依賴底層資源，底層資源故障會造成部分業(yè)務交易報錯的情況下可以使用該種監(jiān)控方法。

四、總結(jié)

本文首先介紹了幾種單應用系統(tǒng)環(huán)境監(jiān)控方法及主要技術，包括ajax請求響應報文監(jiān)控，日志監(jiān)控、基礎資源監(jiān)控、業(yè)務數(shù)據(jù)監(jiān)控、頁面內(nèi)容監(jiān)控、高級腳本監(jiān)控，并分析了這幾種技術的主要使用場景，之后對業(yè)務交易聚合監(jiān)控、業(yè)務交易與基礎資源監(jiān)控方法進行了介紹，希望給測試人員、應用環(huán)境運維人員、監(jiān)控平臺建設者提供一定的參考，提升信息系統(tǒng)運維服務能力。

最后：在我的V：atstudy-js，可以免費領取一份10G軟件測試工程師面試寶典文檔資料。以及相對應的視頻學習教程免費分享！其中包括了有基礎知識、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫、抓包工具專題、接口測試工具、測試進階-Python編程、Web自動化測試、APP自動化測試、接口自動化測試、測試高級持續(xù)集成、測試架構(gòu)開發(fā)測試框架、性能測試、安全測試等。