序

在“求佛保服務(wù)器不停機(jī)”,、“殺程序員祭天”的環(huán)境下，程序員每天提心吊膽,，接到電話和短信都嚇得發(fā)抖,。為了我們的安全，及時發(fā)現(xiàn)服務(wù)器運(yùn)行問題不再僅僅是運(yùn)維的問題,。今天我總結(jié)一下常見的服務(wù)器監(jiān)控指標(biāo),，希望所有的開發(fā)者都能運(yùn)行一個腳本來保護(hù)自己的生命。

獲取服務(wù)器信息

當(dāng)需要同時監(jiān)控多臺機(jī)器時,，每臺機(jī)器都需要運(yùn)行一個監(jiān)控程序,。首先，我們需要獲取服務(wù)器的信息來區(qū)分機(jī)器,。當(dāng)問題發(fā)生時,，我們還可以評估問題的嚴(yán)重程度,。

獲取IP

獲取intranet IP:

通過ifconfig命令獲取所有網(wǎng)絡(luò)信息，并刪除本地主機(jī)和ipv6信息,。

/sbin/ifconfig | grep inet | grep-v ' 127 . 0 . 0 . 1 ' | grep-v inet 6 | awk ' { print $ 2 } ' | tr-d ' addr : '

注意,，這里應(yīng)該使用ifconfig的絕對路徑，因?yàn)槿绻O(jiān)控腳本在crontab中運(yùn)行,，它將在沒有環(huán)境信息的情況下執(zhí)行,。

獲取外部網(wǎng)絡(luò)IP:

外網(wǎng)的IP可以通過請求其他網(wǎng)站來來回回顯示。有些網(wǎng)站提供這種服務(wù),，比如http://ipecho.net/plain或者我懶得自己建的網(wǎng)站：http://alwayscoding.net,。

順序如下，科爾http://alwayscoding.net

獲取系統(tǒng)信息

建議使用lsb_release -a方法獲取系統(tǒng)信息：

lsb_release -a

LSB版本： base-4.0-amd 64: base-4.0-no arch : core-4.0-amd 64: core-4.0-no arch

經(jīng)銷商ID: CentOS

Deion: CentOS版本6.5(最終版)

版本： 6.5

代號：最終版

信息豐富,，可以截取字符串中需要的部分,；

中央處理器

CPU負(fù)載是我們想要監(jiān)控的主要指標(biāo)。我們常說的系統(tǒng)負(fù)載,，是指CPU處理的進(jìn)程數(shù)與CPU在一定時間內(nèi)所能處理的最大進(jìn)程數(shù)的比值,，即一個CPU的最大負(fù)載為1.0。在這種情況下,，CPU可以完成所有進(jìn)程,。如果超過這個限制，系統(tǒng)將進(jìn)入過載狀態(tài),，一些進(jìn)程將不得不等待其他進(jìn)程完成執(zhí)行,。我們一般認(rèn)為CPU負(fù)載低于0.6就是健康狀態(tài)。

top命令通常用于查看終端上的系統(tǒng)負(fù)載,，但它是交互式的,，數(shù)據(jù)越來越復(fù)雜，不利于編寫監(jiān)控腳本,。我們一般用uptime通過它的平均負(fù)載字段來獲取最近1分鐘,、5分鐘、15分鐘的平均負(fù)載,。

正常運(yùn)行時間

16:033:30漲130天,，23:33，1個用戶,，平均負(fù)載： 4.62,，4.97，5.08

此時系統(tǒng)的平均負(fù)載在5左右,，說明系統(tǒng)沒有過載,，沒有錯誤。這是因?yàn)樵诳紤]負(fù)載時，還應(yīng)該考慮CPU內(nèi)核的數(shù)量,。多核CPU能同時處理的進(jìn)程數(shù)與其核數(shù)成正比,，其最大負(fù)載不是1，而是其CPU核數(shù)n,。

我們可以使用nproc來檢查系統(tǒng)的CPU核心數(shù),。我在用的這臺機(jī)器的核心數(shù)是16，所以它的最大負(fù)載是16,，平均負(fù)載是5/16=0.32,，CPU處于健康狀態(tài)。

內(nèi)存儲器

內(nèi)存是我們想要監(jiān)控的另一個核心指標(biāo),。如果內(nèi)存占用率過高,，無疑會導(dǎo)致進(jìn)程無常分配內(nèi)存執(zhí)行。

我們還可以通過top命令檢查內(nèi)存使用情況,，但是free命令更常用于監(jiān)控：

自由-m

緩存的已用空閑共享緩沖區(qū)總數(shù)

mem : 32108 18262 13846 0 487 11544

-/buffers/cache: 6230 25878

Swap: 0 0 0

首先,，我們來看看線Mem。內(nèi)存32108M,，已經(jīng)用了18262M,，剩下13846。那么內(nèi)存利用率就是18262/32108 * 100%=56.88%,。那么,，你所說的共享、緩沖和緩存是什么意思呢,？

其實(shí)在linux中,，內(nèi)存分配也是一個偷懶的原則,。當(dāng)內(nèi)存分配給一個進(jìn)程時,，linux不會在進(jìn)程完成后立即清理內(nèi)存，而是將這部分內(nèi)存作為緩存存儲,。如果該進(jìn)程重新啟動,，則無需重新加載。如果可用內(nèi)存用完,，這部分緩存將被清空并重新使用,。這樣，使用中的緩沖區(qū)和緩存部分可以隨時重用,，而不能算作被占用,。Shared是進(jìn)程的共享內(nèi)存部分，會作為被占用部分使用,，但很少使用,。相關(guān)內(nèi)容請參考文末的參考文章。

真實(shí)數(shù)據(jù)是第三行去掉緩沖區(qū)和緩存的部分,，即真實(shí)內(nèi)存利用率為6230/(6230 25878)*100%=19.4%,。

第四行中的交換用于臨時存儲內(nèi)存緩沖區(qū)和緩存,。雖然在正常情況下可以加快進(jìn)程的重啟速度，但是當(dāng)物理內(nèi)存較少時,，會造成頻繁的讀寫swap,，增加服務(wù)器的IO壓力。用不用要看情況,。

網(wǎng)絡(luò)

網(wǎng)絡(luò)linux作為web服務(wù)器使用時也是一個非常重要的指標(biāo),。相關(guān)的命令有很多，但各有所長,。我們通常監(jiān)控以下狀態(tài)：

使用netstat查看端口,。

netstat-an | greplisten | grep TCP | grep 80檢查是否有任何進(jìn)程正在監(jiān)視端口80。

使用ping監(jiān)控網(wǎng)絡(luò)連接,。

使用ping命令檢查網(wǎng)絡(luò)是否連接,，使用-c選項(xiàng)控制請求數(shù)量，使用-w選項(xiàng)控制超時(單位：毫秒),，最后使用符號的短路特性控制結(jié)果輸出3360,。

ping-w 100-C1 http://weibo.com/開發(fā)/零回波'已連接'

硬盤

硬盤不是特別重要的監(jiān)控指標(biāo)，但是硬盤滿了寫文件失敗也會影響進(jìn)程的正常執(zhí)行,。

我們使用df命令檢查磁盤的使用狀態(tài),，并且-h將以易讀的格式輸出：

東風(fēng)-h

已使用的文件系統(tǒng)大小可用百分比裝載于

/dev/vda 1 40克6.0克32克16% /

tmpfs 16G 0 16G 0%/開發(fā)/shm

/dev/vdb1 296G 16G 265G 6% /data0

我們可以使用grep命令找到想要查詢的掛載節(jié)點(diǎn)，然后使用awk命令得到結(jié)果字段,。

另外,，可以使用du[-h]/path/to/dir[-max-depth=n]來檢查一個目錄的大小，注意使用-max-depth=n來控制遍歷深度,。

跑步/其他

其他監(jiān)控狀態(tài)主要包括流程錯誤日志監(jiān)控,、請求數(shù)監(jiān)控、流程存在狀態(tài)監(jiān)控等,。這些可以和一些基本命令一起使用,，比如ps等。

要了解更多詳細(xì)信息,，您需要使用進(jìn)程日志,。使用grep、awk和其他命令來分析日志,，以獲得更詳細(xì)的信息,。

摘要

最后是監(jiān)測結(jié)果的統(tǒng)計。您可以使用一般的“推”和“拉”方法,。建議每臺機(jī)器將結(jié)果推送到一臺機(jī)器上進(jìn)行統(tǒng)計和報警,。也可以使用rsync從各種服務(wù)器拉取，以及企業(yè)微信、短信,、郵件等報警方式,。可以根據(jù)需要進(jìn)行配置,。

最后,，系統(tǒng)監(jiān)控是一件需要持續(xù)關(guān)注的重要事情。我希望你的服務(wù)器永遠(yuǎn)不會停機(jī),。