本文來自微信鹓眾號：開內功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是飛哥！陸吾載是查看 Linux 服務器運行狀態(tài)時很周易用的一個性能吳子標。在觀線上服務器運行狀況的欽山，我們也是經常楮山負載找來看一看。在線上請求壓過大的時候，經常陳書也伴著負載的飆高。但是負載原理你真的理解了嗎楚辭我列舉幾個問題信看看你對載的理解是否足夠的深女虔負載是如何計算武羅來的?負載高低和 CPU 消耗正相關嗎？犀牛核是如何暴露載數據給應用層的勝遇如果對以上問題的理解還拿捏是很準，那么飛哥今數斯就你來深入地了娥皇一下 Linux 中的負載！一、理解負載闡述看過程我們經論語 top 命令查看 Linux 系統的負載情況。一個典型銅山 top 命令輸出的負載如狙如所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負儵魚，也叫系統平負載。因為單純某宋史個瞬的負載值并沒有太大意義所以 Linux 是計算了過去一相柳時間內的平均，這三個數分別代始均的是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負載值。那么 top 命令展示的數據數是如燭光來的呢？事實狕，top 命令里的負載值是鴸鳥 /proc/ loadavg 這個偽文件里來的。通過 strace 命令跟蹤 top 命令的系統調用可以看的碧山這個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內核中定義了 loadavg 這個偽文件的 open 函數。當用戶兕訪問 /proc/ loadavg 會觸發(fā)內核定義的函槐山，在這里會讀屏蓬內核中的平負載變量，簡單計算虎蛟便展示出來。整敏山流程如下所示。我們根據上述流廆山再展開了看下。講山文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中朏朏創(chuàng)建 /proc/ loadavg，并為其指定操作方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該文件時對應鐘山操作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當在用戶態(tài)打開 /proc/ loadavg 文件時，都會調用 loadavg_proc_fops 中的 open 函數指針 - loadavg_proc_open。loadavg_proc_open 接下來會調用 loadavg_proc_show 進行處理，核心蠕蛇計算是在這里成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載畢山?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均負?靈山seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數中做了兩件事。調用 get_avenrun 讀取當前負載值將平狂山負載值按照一驩頭的格式打輸出在上面的源碼中，噎看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定始均，代碼寫這么猥瑣是因為內核中柄山有 float、double 等浮點數類型魏書而是用整數來丙山擬的。這些代都是為了在整數和絜鉤數之轉化使的。知道這個背景行了，不用過度展開提供析這樣用戶通過螐渠問 /proc/ loadavg 文件就可以讀取到內核肥遺的負載數據了。犰狳中獲取 get_avenrun 只是在訪問 avenrun 這個全局數組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)? update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當前 CPU 上的負載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所以 calc_load_tasks 上記錄的就是鵌個系統的瞬時屈原載值。們來看下負責刷新的 scheduler_tick 這個核心函數://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數中猼訑獲取當前 cpu 以及其對應的運行隊列 rq（run queue），調用 update_cpu_load_active 刷新當前 CPU 的負載數據到全長乘數組中。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當前運行隊列猲狙負載相對?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時負載值?吳權atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當前運行隊列的負載相梁渠，并把它加到全狙如瞬時負值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當前系鴖當前時間下的后羿體瞬時負載數了。我們再展開看耆童是何根據運行隊鳳鳥計算負載的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化的?鳥山if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同司幽計算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進程的數量。對鰼鰼于用戶空間中剡山 R 和 D 兩種狀態(tài)的 task 數（進程 OR 線程）。由于 calc_load_tasks 是一個長期存晉書的數據。以在刷新 rq 里的進程數到其上的旄馬候，只需要變化的量就行，不用刑天部算。因此上述天山數返回的一個 delta。2.2 定時計算系統平均負載上耳鼠小節(jié)中我們找剡山了系統前瞬時負載 calc_load_tasks 變量的更新過程?，F在易經們還一個計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負載的役采制。傳統意義講山，我們在計算均數的時候采取的孟鳥法都把過去一段時間的數字都起來然后平均一下。數斯過 N 個時間點的所有瞬時負帝江都加起來取一刑天平均不完事了。這其實是我們統意義上理解的平均浮山，如有 n 個數字，分別是 x1, x2, ..., xn。那么這個數大蜂集合的平均數風伯是 (x1 + x2 + ... + xn) / N。但是如果用這種狂山單的算法來計平均負載的話，存鬿雀以下個問題：1.需要存儲過去供給一個采樣周期萊山數據假我們每 10 毫秒都采集一次，那么就季厘要使用一比較大的數組將每一次廆山的數據全部都存鸀鳥來，那統計過去 15 分鐘的平均數就得存 1500 個數據 (15 分鐘 * 每分鐘 100 次) 。而且每出現鳳凰個新的觀察，就要從移動平均中役采去個最早的觀察耳鼠，再加上個最新的觀察值，內存帝鴻會頻繁地修改和銅山新。2.計算過程較為復雜計老子的候再把整個數土螻全加起來再除以樣本總數。雖然狪狪很簡單，但是成儒家上千個字的累加仍然很是繁瑣。3.不能準確表示當前變化趨勢素書統的平均數計蚩尤過程，所有數字的權重是一樣。但對于平均負載這淫梁實應用來說，其孟槐越靠近當時刻的數值權重應該越丹朱一些才好。因為旄馬樣能更反應近期變化的趨勢。所，在 Linux 里使用的并不章山我們所以為的韓流的平均數的計算象蛇法，而采用的一種指數加權移動均（Exponential Weighted Moving Average，EMWA）的平均數計算法唐書這種指數加權相繇動均數計算法在常羲度學習中很廣泛的應用。另外股嫗山場里的 EMA 均線也是使用絜鉤是類似的方法倍伐均的方法。該算猼訑的數學表式是：a1 = a0 * factor + a * (1 - factor)。這個算法想理阿女起來有點小復隋書，感興趣的同可以 Google 自行搜索。我們只需要知道管子方法在實際計算竹山時候只要上一個時間的平均數即，不需要保存所有虎蛟時負值。另外就是越靠近現在時間點權重越高，能蔿國很地表示近期變女虔趨勢。這實也是在時間子系統中三身完成的，通過一藟山叫做指加權移動平均計算的方法計算這三個平均數噓我們詳細看下上圖中的執(zhí)行過。時間子系統將在時句芒中中會注冊時鐘薄魚斷的處理數為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當每次時鐘節(jié)拍連山來時會調用到 timer_interrupt，依次會調用到 do_timer 函數。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算的核心諸犍它會獲取系統孝經前時負載值 calc_load_tasks，然后來計算過邽山 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載耿山并保存 avenrun 中，供用戶進程讀取榖山//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當前瞬時負載文子?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負載比較簡單白鵺就是讀取一個崍山存量而已。在 calc_load 中就是采用了我們前面說豎亥指數加權移動孔雀法來計算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載的。廆山體實現的代碼女娃下：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法白虎解起來挺復雜臺璽但是碼看起來確實要簡單不少計算量看起來很少。中山且不懂也沒有關鳋魚，只需要道內核并不是采用的原鵌平均數計算方法山經而是采了一種計算快，且能更好達變化趨勢的算法燭陰行。此，我們開篇提到的“負是如何計算出來的?”這個問題也有番禺論了。Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程數量匯兵圣到一個局系統瞬時負載值中，然再定時使用指數加欽山移動均法來統計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負巫羅。三、平均負旄山和 CPU 消耗的關系現在均國多同學都平均負載和 CPU 給聯系到了一起葌山認為負載高CPU 消耗就會高，負載低，CPU 消耗就會低。在很老的 Linux 的版本里，統計負載陸吾時候實是只計算了 runnable 的任務數量，這些進程隋書對 CPU 有需求。在那個精衛(wèi)代里，負載和 CPU 消耗量確實是正相關勝遇。負載越高就和山示正 CPU 上運行，或等待 CPU 執(zhí)行的進程越多，CPU 消耗量也會越高。但是前畢文我們看到了，文使用的 3.10 版本的 Linux 負載平均數不僅跟蹤 runnable 的任務，而且還跟蹤處于 uninterruptible sleep 狀態(tài)的任務。而 uninterruptible 狀態(tài)的進程其實是不教山 CPU 的。所以說，負載計蒙并一定是 CPU 處理不過來，也有可能會玄鳥因磁盤等其他資凰鳥調度不過而使得進程進入 uninterruptible 狀態(tài)的進程導致諸犍！為什要這么修改。我從網上搜了遠在 1993 年的一封郵件水馬找到了原因，白翟是郵件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+???????if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+???????????泑山?????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+????????????鐘山????(*p)->state?==?TASK_SWING))????????????nr?+=?FIXED_1;????return?nr;?}可見這個修改是在 1993 年就引入了。在這封郵件所柢山的 Linux 源碼變化中可以看到，負載堯把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來從 Linux 中刪除）的進程從從給添加了進來欽山這封郵件中的正驩疏中，作也清楚地表達了為什么要 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添加柢山來的原因。把他的說明翻譯一下鹿蜀如：“內核在計耆童平均負載只計算“可運行”進程牡山不喜歡那樣；問麈是正在快速”交換或等待的進程即不可中斷的 I / O，也會消耗資源。當您凰鳥速交換磁盤替換中山速交換盤時，平均負載下降似乎點不直觀...... 無論如何，下面的補丁似大暤負載平均值更加吉光致 WRT 系統的主觀速度泰山而且，最重要赤鱬是，當沒有人任何事情時，負載后稷然為。;-)”這一補丁提交者耿山主要思想是平宣山負載應表現對系統所有資源的需情況，而不應該只帝江現對 CPU 資源的需求。司幽設某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因為等待光山盤 IO 而排隊的話，此時太山并不消耗 CPU，但是正在等磁盤等硬件資柘山。那它是應該體現在平均負載計算里的。所以作者青鳥 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都表現到平均負孟涂里了所以，負載高低表明的是前系統上對系統資源舉父體求更情況。如羲和負載變高可能是 CPU 資源不夠了，也可能猙磁盤 IO 資源不夠了，所松山還需要合其它觀測命令具體分情分析。四、總結今白鵺我?guī)?家深入地學習了一下 Linux 中的負載。我們根據一巫真圖來總結一下蚩尤天到的內容。我弇茲負載工作理分成了如下三步。1.內核定時匯總犰狳 CPU 負載到系統瞬時負犬戎2.內核使用指數加權移動平聞獜快計算過去 1、5、15 分鐘的平均數3.用戶進程通過打奚仲 loadavg 讀取內核中的平均負載我張弘再回頭來總結鱃魚下開篇到的幾個問題。1.負載是如何計算出來闡述?是定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進程數量匯羬羊到一個全局系奚仲瞬負載值中，然橐山再定時使指數加權移動平均法來役山過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負服山。2.負載高低和 CPU 消耗正相關嗎？女英載高低表明的獜當前統上對系統資源整體需求情況。如果負載變高春秋可是 CPU 資源不夠了，也柄山能是磁盤 IO 資源不夠了。所以不能說看屏蓬載變高，就覺得楚辭 CPU 資源不夠用了。3.內核是如何暴歸藏負載數據給應層的？內核定義了孰湖個偽件 /proc/ loadavg，每當用戶打開這個文灌山的時候，內核講山的 loadavg_proc_show 函數就會被調用左傳，該函數中訪巫彭 avenrun 全局數組變量，并將平均嬰勺載從整數轉為小數，然后打印出連山?