建站
咨詢
售后
建站咨詢
新聞中心
探究Linux內(nèi)存管理機(jī)制
成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、坊子網(wǎng)絡(luò)推廣、小程序定制開發(fā)、坊子網(wǎng)絡(luò)營銷、坊子企業(yè)策劃、坊子品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供坊子建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com
在計算機(jī)科學(xué)領(lǐng)域，內(nèi)存管理機(jī)制是操作系統(tǒng)設(shè)計中最基本、最重要的內(nèi)容之一。對于Linux操作系統(tǒng)來說，內(nèi)存管理機(jī)制的設(shè)計與實(shí)現(xiàn)更是相當(dāng)重要，因?yàn)長inux以其出色的性能和可靠性而聞名于世。本文將深入探究Linux的內(nèi)存管理機(jī)制，解釋其設(shè)計原理和實(shí)現(xiàn)方式。
內(nèi)存管理基礎(chǔ)知識
我們需要了解計算機(jī)內(nèi)存是什么，它的類型有哪些，以及內(nèi)存是如何被管理的。計算機(jī)內(nèi)存是指存放在計算機(jī)中的臨時數(shù)據(jù)存儲器，是計算機(jī)系統(tǒng)中最重要、最基礎(chǔ)的部分之一。它分為三種類型：緩存、虛擬內(nèi)存和物理內(nèi)存。
緩存是指存放在CPU內(nèi)部或者硬盤內(nèi)部的一小塊高速存儲器，用來存儲最近使用過的數(shù)據(jù)，以加快數(shù)據(jù)的訪問速度。
虛擬內(nèi)存是指分配給應(yīng)用程序的虛擬地址空間，與物理內(nèi)存一起構(gòu)成了一個大的地址空間。當(dāng)應(yīng)用程序需要訪問內(nèi)存中的某個地方時，操作系統(tǒng)將虛擬地址轉(zhuǎn)換為物理地址，這個過程稱為內(nèi)存映射。
物理內(nèi)存是指安裝在計算機(jī)中的內(nèi)存條，也就是我們常說的內(nèi)存?！拔锢怼钡母拍畋硎镜氖撬_實(shí)存在于計算機(jī)內(nèi)部，而虛擬內(nèi)存只是一個邏輯概念，會被轉(zhuǎn)換為物理內(nèi)存使用。
內(nèi)存管理機(jī)制的設(shè)計原理
Linux的內(nèi)存管理機(jī)制是以內(nèi)存分頁作為基礎(chǔ)的，即將物理內(nèi)存和虛擬內(nèi)存按照一個小的固定大小的信息塊進(jìn)行劃分。這個信息塊稱之為“頁面”，通常大小為4KB。
內(nèi)存分頁的設(shè)計原理有兩個基本原則：
1. 大部分內(nèi)存訪問是連續(xù)的
2. 內(nèi)存訪問是以頁面為單位的
有了這兩個原則，就可以將內(nèi)存分成許多小的信息塊，并且只有在真正需要時使用物理頁面，而不是全部將物理內(nèi)存放到虛擬內(nèi)存中。
Linux內(nèi)存管理中的重要概念
在介紹Linux內(nèi)存管理機(jī)制的實(shí)現(xiàn)前，先來了解下其中一些重要的概念。
1. 分頁機(jī)制：將虛擬地址空間分割成大小相等的頁，每個頁被映射到物理地址空間上的一個頁面。通過分頁機(jī)制可以使得程序的代碼段、堆、棧不必關(guān)心是否在連續(xù)的物理內(nèi)存中，僅僅需要知道虛擬地址即可。
2. 頁面：分頁的最小單位，通常大小為4KB。
3. 內(nèi)存映射：將虛擬地址映射到物理內(nèi)存的過程，也就是將虛擬內(nèi)存和物理內(nèi)存的某一部分進(jìn)行匹配的過程。
4. 頁面置換：當(dāng)物理內(nèi)存不足時，需要使用內(nèi)存置換算法將某些頁面從物理內(nèi)存中換出，以便其他一些頁面能夠進(jìn)入內(nèi)存中。
Linux內(nèi)存管理的實(shí)現(xiàn)方法
Linux內(nèi)存管理的實(shí)現(xiàn)方法可以從以下幾個方面來介紹：
1. 內(nèi)存分配器
當(dāng)一個進(jìn)程需要內(nèi)存時，Linux操作系統(tǒng)就會調(diào)用內(nèi)存分配器，并要求分配一定量的內(nèi)存。內(nèi)存分配器會根據(jù)進(jìn)程的需要，將物理內(nèi)存的某一部分用于虛擬內(nèi)存的需求，并且提供給進(jìn)程使用。
2. 頁面置換
當(dāng)物理內(nèi)存的容量不足時，操作系統(tǒng)就需要使用頁面置換算法將某些頁面從內(nèi)存中換出，以便騰出空間給新的頁面使用。Linux內(nèi)核中使用的頁面置換算法有FIFO、LRU等。
3. 內(nèi)存統(tǒng)計和監(jiān)控
Linux內(nèi)核提供了一些工具，用于統(tǒng)計和監(jiān)控內(nèi)存的使用情況以及內(nèi)存分布情況。例如，top、vmstat等命令可以監(jiān)控系統(tǒng)的內(nèi)存使用情況，而/proc/meminfo文件可以查看實(shí)時的內(nèi)存統(tǒng)計信息。
4. 內(nèi)存壓縮
當(dāng)物理內(nèi)存不足時，Linux內(nèi)核中的內(nèi)存壓縮功能可以通過對內(nèi)存中的某些頁面進(jìn)行壓縮來騰出更多的內(nèi)存空間。
本文對于Linux內(nèi)存管理機(jī)制進(jìn)行了深入的探究，包括內(nèi)存管理基礎(chǔ)知識、內(nèi)存管理機(jī)制的設(shè)計原理、重要的概念、實(shí)現(xiàn)方法等方面進(jìn)行了詳細(xì)介紹。熟悉Linux的內(nèi)存管理機(jī)制對于我們理解操作系統(tǒng)的工作原理和提高系統(tǒng)性能都非常重要。
相關(guān)問題拓展閱讀：
- linux中使用了什么內(nèi)存管理方法,為什么
linux中使用了什么內(nèi)存管理方法,為什么
“事實(shí)勝于雄辯”，我們用一個小例子（原形取自《User-Level Memory Management》）來展示上面所講的各種內(nèi)存區(qū)的差別與位置。
#include
#include
#include
int bss_var;
int data_var0=1;
int main(int argc,char **argv)
{
printf(“below are addresses of types of process’s mem\n”);
printf(“Text location:\n”);
printf(“\tAddress of main(Code Segment):%p\n”,main);
printf(“____________________________\n”);
int stack_var0=2;
printf(“Stack Location:\n”);
printf(“\tInitial end of stack:%p\n”,&stack_var0);
int stack_var1=3;
printf(“\tnew end of stack:%p\n”,&stack_var1);
printf(“____________________________\n”);
printf(“Data Location:\n”);
printf(“\tAddress of data_var(Data Segment):%p\n”,&data_var0);
static int data_var1=4;
printf(“\tNew end of data_var(Data Segment):%p\n”,&data_var1);
printf(“____________________________\n”);
printf(“BSS Location:\n”);
printf(“\tAddress of bss_var:%p\n”,&bss_var);
printf(“____________________________\n”);
char *b = rk((ptrdiff_t)0);
扒掘
printf(“Heap Location:\n”);
printf(“\tInitial end of heap:%p\n”,b);
brk(b+4);
b=rk((ptrdiff_t)0);
printf(“\tNew end of heap:%p\n”,b);
return 0;
}
它的結(jié)果如下：
below are addresses of types of process’s mem
Text location:
Address of main(Code Segment):0x
____________________________
Stack Location:
塌山
Initial end of stack:0xbffffab4
new end of stack:0xbffffab0
____________________________
Data Location:
Address of data_var(Data Segment):0x
New end of data_var(Data Segment):0x804975c
____________________________
BSS Location:
Address of bss_var:0x
____________________________
Heap Location:
Initial end of heap:0x
New end of heap:0x804986c
利用size命令也可以看到程序的各段大小，比如執(zhí)行size example會得到
text data bss dec hex filename
example
但這些數(shù)據(jù)是程序編譯的靜態(tài)統(tǒng)計，而上面顯示的是進(jìn)程運(yùn)行時的動態(tài)值，但兩者是對應(yīng)的。
通過前面的例子，我們對進(jìn)程使用的邏輯內(nèi)存分布已先睹為快。這部分我們就繼續(xù)進(jìn)入操作系統(tǒng)內(nèi)核看看，進(jìn)程對內(nèi)存具體是如何進(jìn)行分配和管理的。
從用戶向內(nèi)核看，所使用的內(nèi)存表象形團(tuán)此中式會依次經(jīng)歷“邏輯地址”——“線性地址”——“物理地址”幾種形式（關(guān)于幾種地址的解釋在前面已經(jīng)講述了）。邏輯地址經(jīng)段機(jī)制轉(zhuǎn)化成線性地址；線性地址又經(jīng)過頁機(jī)制轉(zhuǎn)化為物理地址。（但是我們要知道Linux系統(tǒng)雖然保留了段機(jī)制，但是將所有程序的段地址都定死為0-4G，所以雖然邏輯地址和線性地址是兩種不同的地址空間，但在Linux中邏輯地址就等于線性地址，它們的值是一樣的）。沿著這條線索，我們所研究的主要問題也就集中在下面幾個問題。
進(jìn)程空間地址如何管理？
進(jìn)程地址如何映射到物理內(nèi)存？
物理內(nèi)存如何被管理？
以及由上述問題引發(fā)的一些子問題。如系統(tǒng)虛擬地址分布；內(nèi)存分配接口；連續(xù)內(nèi)存分配與非連續(xù)內(nèi)存分配等。
進(jìn)程內(nèi)存空間
Linux操作系統(tǒng)采用虛擬內(nèi)存管理技術(shù)，使得每個進(jìn)程都有各自互不干涉的進(jìn)程地址空間。該空間是塊大小為4G的線性虛擬空間，用戶所看到和接觸到的都是該虛擬地址，無法看到實(shí)際的物理內(nèi)存地址。利用這種虛擬地址不但能起到保護(hù)操作系統(tǒng)的效果（用戶不能直接訪問物理內(nèi)存），而且更重要的是，用戶程序可使用比實(shí)際物理內(nèi)存更大的地址空間（具體的原因請看硬件基礎(chǔ)部分）。
在討論進(jìn)程空間細(xì)節(jié)前，這里先要澄清下面幾個問題：
l之一、4G的進(jìn)程地址空間被人為的分為兩個部分——用戶空間與內(nèi)核空間。用戶空間從0到3G（0xC），內(nèi)核空間占據(jù)3G到4G。用戶進(jìn)程通常情況下只能訪問用戶空間的虛擬地址，不能訪問內(nèi)核空間虛擬地址。只有用戶進(jìn)程進(jìn)行系統(tǒng)調(diào)用（代表用戶進(jìn)程在內(nèi)核態(tài)執(zhí)行）等時刻可以訪問到內(nèi)核空間。
l第二、用戶空間對應(yīng)進(jìn)程，所以每當(dāng)進(jìn)程切換，用戶空間就會跟著變化；而內(nèi)核空間是由內(nèi)核負(fù)責(zé)映射，它并不會跟著進(jìn)程改變，是固定的。內(nèi)核空間地址有自己對應(yīng)的頁表（init_mm.pgd），用戶進(jìn)程各自有不同的頁表。
l第三、每個進(jìn)程的用戶空間都是完全獨(dú)立、互不相干的。不信的話，你可以把上面的程序同時運(yùn)行10次（當(dāng)然為了同時運(yùn)行，讓它們在返回前一同睡眠100秒吧），你會看到10個進(jìn)程占用的線性地址一模一樣。
進(jìn)程內(nèi)存管理
進(jìn)程內(nèi)存管理的對象是進(jìn)程線性地址空間上的內(nèi)存鏡像，這些內(nèi)存鏡像其實(shí)就是進(jìn)程使用的虛擬內(nèi)存區(qū)域（memory region）。進(jìn)程虛擬空間是個32或64位的“平坦”（獨(dú)立的連續(xù)區(qū)間）地址空間（空間的具體大小取決于體系結(jié)構(gòu)）。要統(tǒng)一管理這么大的平坦空間可絕非易事，為了方便管理，虛擬空間被劃分為許多大小可變的(但必須是4096的倍數(shù))內(nèi)存區(qū)域，這些區(qū)域在進(jìn)程線性地址中像停車位一樣有序排列。這些區(qū)域的劃分原則是“將訪問屬性一致的地址空間存放在一起”，所謂訪問屬性在這里無非指的是“可讀、可寫、可執(zhí)行等”。
如果你要查看某個進(jìn)程占用的內(nèi)存區(qū)域，可以使用命令cat /proc//maps獲得（pid是進(jìn)程號，你可以運(yùn)行上面我們給出的例子——./example &;pid便會打印到屏幕），你可以發(fā)現(xiàn)很多類似于下面的數(shù)字信息。
由于程序example使用了動態(tài)庫，所以除了example本身使用的的內(nèi)存區(qū)域外，還會包含那些動態(tài)庫使用的內(nèi)存區(qū)域（區(qū)域順序是：代碼段、數(shù)據(jù)段、bss段）。
我們下面只抽出和example有關(guān)的信息，除了前兩行代表的代碼段和數(shù)據(jù)段外，最后一行是進(jìn)程使用的棧空間。
49000 r-xp:/home/mm/src/example
4a000 rw-p:/home/mm/src/example
……………
bfffe000 – crwxp ffff000 00:00 0
——
每行數(shù)據(jù)格式如下：
（內(nèi)存區(qū)域）開始－結(jié)束 訪問權(quán)限 偏移 主設(shè)備號：次設(shè)備號 i節(jié)點(diǎn) 文件。
注意，你一定會發(fā)現(xiàn)進(jìn)程空間只包含三個內(nèi)存區(qū)域，似乎沒有上面所提到的堆、bss等，其實(shí)并非如此，程序內(nèi)存段和進(jìn)程地址空間中的內(nèi)存區(qū)域是種模糊對應(yīng)，也就是說，堆、bss、數(shù)據(jù)段（初始化過的）都在進(jìn)程空間中由數(shù)據(jù)段內(nèi)存區(qū)域表示。
在Linux內(nèi)核中對應(yīng)進(jìn)程內(nèi)存區(qū)域的數(shù)據(jù)結(jié)構(gòu)是: vm_area_struct, 內(nèi)核將每個內(nèi)存區(qū)域作為一個單獨(dú)的內(nèi)存對象管理，相應(yīng)的操作也都一致。采用面向?qū)ο蠓椒ㄊ筕MA結(jié)構(gòu)體可以代表多種類型的內(nèi)存區(qū)域－－比如內(nèi)存映射文件或進(jìn)程的用戶空間棧等，對這些區(qū)域的操作也都不盡相同。
vm_area_strcut結(jié)構(gòu)比較復(fù)雜，關(guān)于它的詳細(xì)結(jié)構(gòu)請參閱相關(guān)資料。我們這里只對它的組織方法做一點(diǎn)補(bǔ)充說明。vm_area_struct是描述進(jìn)程地址空間的基本管理單元，對于一個進(jìn)程來說往往需要多個內(nèi)存區(qū)域來描述它的虛擬空間，如何關(guān)聯(lián)這些不同的內(nèi)存區(qū)域呢？大家可能都會想到使用鏈表，的確vm_area_struct結(jié)構(gòu)確實(shí)是以鏈表形式鏈接，不過為了方便查找，內(nèi)核又以紅黑樹（以前的內(nèi)核使用平衡樹）的形式組織內(nèi)存區(qū)域，以便降低搜索耗時。并存的兩種組織形式，并非冗余：鏈表用于需要遍歷全部節(jié)點(diǎn)的時候用，而紅黑樹適用于在地址空間中定位特定內(nèi)存區(qū)域的時候。內(nèi)核為了內(nèi)存區(qū)域上的各種不同操作都能獲得高性能，所以同時使用了這兩種數(shù)據(jù)結(jié)構(gòu)。
下圖反映了進(jìn)程地址空間的管理模型：
請點(diǎn)擊輸入圖片描述
進(jìn)程的地址空間對應(yīng)的描述結(jié)構(gòu)是“內(nèi)存描述符結(jié)構(gòu)”,它表示進(jìn)程的全部地址空間，——包含了和進(jìn)程地址空間有關(guān)的全部信息，其中當(dāng)然包含進(jìn)程的內(nèi)存區(qū)域。
進(jìn)程內(nèi)存的分配與回收
創(chuàng)建進(jìn)程fork()、程序載入execve()、映射文件mmap()、動態(tài)內(nèi)存分配malloc()/brk()等進(jìn)程相關(guān)操作都需要分配內(nèi)存給進(jìn)程。不過這時進(jìn)程申請和獲得的還不是實(shí)際內(nèi)存，而是虛擬內(nèi)存，準(zhǔn)確的說是“內(nèi)存區(qū)域”。進(jìn)程對內(nèi)存區(qū)域的分配最終都會歸結(jié)到do_mmap（）函數(shù)上來（brk調(diào)用被單獨(dú)以系統(tǒng)調(diào)用實(shí)現(xiàn)，不用do_mmap()），
內(nèi)核使用do_mmap()函數(shù)創(chuàng)建一個新的線性地址區(qū)間。但是說該函數(shù)創(chuàng)建了一個新VMA并不非常準(zhǔn)確，因?yàn)槿绻麆?chuàng)建的地址區(qū)間和一個已經(jīng)存在的地址區(qū)間相鄰，并且它們具有相同的訪問權(quán)限的話，那么兩個區(qū)間將合并為一個。如果不能合并，那么就確實(shí)需要創(chuàng)建一個新的VMA了。但無論哪種情況， do_mmap()函數(shù)都會將一個地址區(qū)間加入到進(jìn)程的地址空間中－－無論是擴(kuò)展已存在的內(nèi)存區(qū)域還是創(chuàng)建一個新的區(qū)域。
同樣，釋放一個內(nèi)存區(qū)域應(yīng)使用函數(shù)do_ummap()，它會銷毀對應(yīng)的內(nèi)存區(qū)域。
如何由虛變實(shí)！
從上面已經(jīng)看到進(jìn)程所能直接操作的地址都為虛擬地址。當(dāng)進(jìn)程需要內(nèi)存時，從內(nèi)核獲得的僅僅是虛擬的內(nèi)存區(qū)域，而不是實(shí)際的物理地址，進(jìn)程并沒有獲得物理內(nèi)存（物理頁面——頁的概念請大家參考硬件基礎(chǔ)一章），獲得的僅僅是對一個新的線性地址區(qū)間的使用權(quán)。實(shí)際的物理內(nèi)存只有當(dāng)進(jìn)程真的去訪問新獲取的虛擬地址時，才會由“請求頁機(jī)制”產(chǎn)生“缺頁”異常，從而進(jìn)入分配實(shí)際頁面的例程。
該異常是虛擬內(nèi)存機(jī)制賴以存在的基本保證——它會告訴內(nèi)核去真正為進(jìn)程分配物理頁，并建立對應(yīng)的頁表，這之后虛擬地址才實(shí)實(shí)在在地映射到了系統(tǒng)的物理內(nèi)存上。（當(dāng)然，如果頁被換出到磁盤，也會產(chǎn)生缺頁異常，不過這時不用再建立頁表了）
這種請求頁機(jī)制把頁面的分配推遲到不能再推遲為止，并不急于把所有的事情都一次做完（這種思想有點(diǎn)像設(shè)計模式中的代理模式（proxy））。之所以能這么做是利用了內(nèi)存訪問的“局部性原理”，請求頁帶來的好處是節(jié)約了空閑內(nèi)存，提高了系統(tǒng)的吞吐率。要想更清楚地了解請求頁機(jī)制，可以看看《深入理解linux內(nèi)核》一書。
這里我們需要說明在內(nèi)存區(qū)域結(jié)構(gòu)上的nopage操作。當(dāng)訪問的進(jìn)程虛擬內(nèi)存并未真正分配頁面時，該操作便被調(diào)用來分配實(shí)際的物理頁，并為該頁建立頁表項(xiàng)。在最后的例子中我們會演示如何使用該方法。
系統(tǒng)物理內(nèi)存管理
雖然應(yīng)用程序操作的對象是映射到物理內(nèi)存之上的虛擬內(nèi)存，但是處理器直接操作的卻是物理內(nèi)存。所以當(dāng)應(yīng)用程序訪問一個虛擬地址時，首先必須將虛擬地址轉(zhuǎn)化成物理地址，然后處理器才能解析地址訪問請求。地址的轉(zhuǎn)換工作需要通過查詢頁表才能完成，概括地講，地址轉(zhuǎn)換需要將虛擬地址分段，使每段虛地址都作為一個索引指向頁表，而頁表項(xiàng)則指向下一級別的頁表或者指向最終的物理頁面。
每個進(jìn)程都有自己的頁表。進(jìn)程描述符的pgd域指向的就是進(jìn)程的頁全局目錄。下面我們借用《linux設(shè)備驅(qū)動程序》中的一幅圖大致看看進(jìn)程地址空間到物理頁之間的轉(zhuǎn)換關(guān)系。
上面的過程說起來簡單，做起來難呀。因?yàn)樵谔摂M地址映射到頁之前必須先分配物理頁——也就是說必須先從內(nèi)核中獲取空閑頁，并建立頁表。下面我們介紹一下內(nèi)核管理物理內(nèi)存的機(jī)制。
物理內(nèi)存管理（頁管理）
Linux內(nèi)核管理物理內(nèi)存是通過分頁機(jī)制實(shí)現(xiàn)的，它將整個內(nèi)存劃分成無數(shù)個4k（在i386體系結(jié)構(gòu)中）大小的頁，從而分配和回收內(nèi)存的基本單位便是內(nèi)存頁了。利用分頁管理有助于靈活分配內(nèi)存地址，因?yàn)榉峙鋾r不必要求必須有大塊的連續(xù)內(nèi)存，系統(tǒng)可以東一頁、西一頁的湊出所需要的內(nèi)存供進(jìn)程使用。雖然如此，但是實(shí)際上系統(tǒng)使用內(nèi)存時還是傾向于分配連續(xù)的內(nèi)存塊，因?yàn)榉峙溥B續(xù)內(nèi)存時，頁表不需要更改，因此能降低TLB的刷新率（頻繁刷新會在很大程度上降低訪問速度）。
鑒于上述需求，內(nèi)核分配物理頁面時為了盡量減少不連續(xù)情況，采用了“伙伴”關(guān)系來管理空閑頁面?；锇殛P(guān)系分配算法大家應(yīng)該不陌生——幾乎所有操作系統(tǒng)方面的書都會提到,我們不去詳細(xì)說它了，如果不明白可以參看有關(guān)資料。這里只需要大家明白Linux中空閑頁面的組織和管理利用了伙伴關(guān)系，因此空閑頁面分配時也需要遵循伙伴關(guān)系，最小單位只能是2的冪倍頁面大小。內(nèi)核中分配空閑頁面的基本函數(shù)是get_free_page/get_free_pages，它們或是分配單頁或是分配指定的頁面（2、4、8…512頁）。
注意：get_free_page是在內(nèi)核中分配內(nèi)存，不同于malloc在用戶空間中分配，malloc利用堆動態(tài)分配，實(shí)際上是調(diào)用brk()系統(tǒng)調(diào)用，該調(diào)用的作用是擴(kuò)大或縮小進(jìn)程堆空間（它會修改進(jìn)程的brk域）。如果現(xiàn)有的內(nèi)存區(qū)域不夠容納堆空間，則會以頁面大小的倍數(shù)為單位，擴(kuò)張或收縮對應(yīng)的內(nèi)存區(qū)域，但brk值并非以頁面大小為倍數(shù)修改，而是按實(shí)際請求修改。因此Malloc在用戶空間分配內(nèi)存可以以字節(jié)為單位分配,但內(nèi)核在內(nèi)部仍然會是以頁為單位分配的。
另外,需要提及的是，物理頁在系統(tǒng)中由頁結(jié)構(gòu)struct page描述，系統(tǒng)中所有的頁面都存儲在數(shù)組mem_map中，可以通過該數(shù)組找到系統(tǒng)中的每一頁（空閑或非空閑）。而其中的空閑頁面則可由上述提到的以伙伴關(guān)系組織的空閑頁鏈表（free_area）來索引。
內(nèi)核內(nèi)存使用
Slab
所謂尺有所長，寸有所短。以頁為最小單位分配內(nèi)存對于內(nèi)核管理系統(tǒng)中的物理內(nèi)存來說的確比較方便，但內(nèi)核自身最常使用的內(nèi)存卻往往是很?。ㄟh(yuǎn)遠(yuǎn)小于一頁）的內(nèi)存塊——比如存放文件描述符、進(jìn)程描述符、虛擬內(nèi)存區(qū)域描述符等行為所需的內(nèi)存都不足一頁。這些用來存放描述符的內(nèi)存相比頁面而言，就好比是面包屑與面包。一個整頁中可以聚集多個這些小塊內(nèi)存；而且這些小塊內(nèi)存塊也和面包屑一樣頻繁地生成/銷毀。
為了滿足內(nèi)核對這種小內(nèi)存塊的需要，Linux系統(tǒng)采用了一種被稱為slab分配器的技術(shù)。Slab分配器的實(shí)現(xiàn)相當(dāng)復(fù)雜，但原理不難，其核心思想就是“存儲池”的運(yùn)用。內(nèi)存片段（小塊內(nèi)存）被看作對象，當(dāng)被使用完后，并不直接釋放而是被緩存到“存儲池”里，留做下次使用，這無疑避免了頻繁創(chuàng)建與銷毀對象所帶來的額外負(fù)載。
Slab技術(shù)不但避免了內(nèi)存內(nèi)部分片（下文將解釋）帶來的不便（引入Slab分配器的主要目的是為了減少對伙伴系統(tǒng)分配算法的調(diào)用次數(shù)——頻繁分配和回收必然會導(dǎo)致內(nèi)存碎片——難以找到大塊連續(xù)的可用內(nèi)存），而且可以很好地利用硬件緩存提高訪問速度。
Slab并非是脫離伙伴關(guān)系而獨(dú)立存在的一種內(nèi)存分配方式，slab仍然是建立在頁面基礎(chǔ)之上，換句話說，Slab將頁面（來自于伙伴關(guān)系管理的空閑頁面鏈表）撕碎成眾多小內(nèi)存塊以供分配，slab中的對象分配和銷毀使用kmem_cache_alloc與kmem_cache_free。
Kmalloc
Slab分配器不僅僅只用來存放內(nèi)核專用的結(jié)構(gòu)體，它還被用來處理內(nèi)核對小塊內(nèi)存的請求。當(dāng)然鑒于Slab分配器的特點(diǎn)，一般來說內(nèi)核程序中對小于一頁的小塊內(nèi)存的請求才通過Slab分配器提供的接口Kmalloc來完成（雖然它可分配32 到131072字節(jié)的內(nèi)存）。從內(nèi)核內(nèi)存分配的角度來講，kmalloc可被看成是get_free_page（s）的一個有效補(bǔ)充，內(nèi)存分配粒度更靈活了。
有興趣的話，可以到/proc/slabinfo中找到內(nèi)核執(zhí)行現(xiàn)場使用的各種slab信息統(tǒng)計，其中你會看到系統(tǒng)中所有slab的使用信息。從信息中可以看到系統(tǒng)中除了專用結(jié)構(gòu)體使用的slab外，還存在大量為Kmalloc而準(zhǔn)備的Slab（其中有些為dma準(zhǔn)備的）。
內(nèi)核非連續(xù)內(nèi)存分配（Vmalloc）
伙伴關(guān)系也好、slab技術(shù)也好，從內(nèi)存管理理論角度而言目的基本是一致的，它們都是為了防止“分片”，不過分片又分為外部分片和內(nèi)部分片之說，所謂內(nèi)部分片是說系統(tǒng)為了滿足一小段內(nèi)存區(qū)（連續(xù)）的需要，不得不分配了一大區(qū)域連續(xù)內(nèi)存給它，從而造成了空間浪費(fèi)；外部分片是指系統(tǒng)雖有足夠的內(nèi)存，但卻是分散的碎片，無法滿足對大塊“連續(xù)內(nèi)存”的需求。無論何種分片都是系統(tǒng)有效利用內(nèi)存的障礙。slab分配器使得一個頁面內(nèi)包含的眾多小塊內(nèi)存可獨(dú)立被分配使用，避免了內(nèi)部分片，節(jié)約了空閑內(nèi)存?；锇殛P(guān)系把內(nèi)存塊按大小分組管理，一定程度上減輕了外部分片的危害，因?yàn)轫摽蚍峙洳辉诿つ?，而是按照大小依次有序進(jìn)行，不過伙伴關(guān)系只是減輕了外部分片，但并未徹底消除。你自己比劃一下多次分配頁面后，空閑內(nèi)存的剩余情況吧。
所以避免外部分片的最終思路還是落到了如何利用不連續(xù)的內(nèi)存塊組合成“看起來很大的內(nèi)存塊”——這里的情況很類似于用戶空間分配虛擬內(nèi)存，內(nèi)存邏輯上連續(xù)，其實(shí)映射到并不一定連續(xù)的物理內(nèi)存上。Linux內(nèi)核借用了這個技術(shù)，允許內(nèi)核程序在內(nèi)核地址空間中分配虛擬地址，同樣也利用頁表（內(nèi)核頁表）將虛擬地址映射到分散的內(nèi)存頁上。以此完美地解決了內(nèi)核內(nèi)存使用中的外部分片問題。內(nèi)核提供vmalloc函數(shù)分配內(nèi)核虛擬內(nèi)存，該函數(shù)不同于kmalloc，它可以分配較Kmalloc大得多的內(nèi)存空間（可遠(yuǎn)大于128K，但必須是頁大小的倍數(shù)），但相比Kmalloc來說,Vmalloc需要對內(nèi)核虛擬地址進(jìn)行重映射，必須更新內(nèi)核頁表，因此分配效率上要低一些（用空間換時間）
與用戶進(jìn)程相似,內(nèi)核也有一個名為init_mm的mm_strcut結(jié)構(gòu)來描述內(nèi)核地址空間，其中頁表項(xiàng)pdg=swapper_pg_dir包含了系統(tǒng)內(nèi)核空間（3G-4G）的映射關(guān)系。因此vmalloc分配內(nèi)核虛擬地址必須更新內(nèi)核頁表，而kmalloc或get_free_page由于分配的連續(xù)內(nèi)存，所以不需要更新內(nèi)核頁表。
vmalloc分配的內(nèi)核虛擬內(nèi)存與kmalloc/get_free_page分配的內(nèi)核虛擬內(nèi)存位于不同的區(qū)間，不會重疊。因?yàn)閮?nèi)核虛擬空間被分區(qū)管理，各司其職。進(jìn)程空間地址分布從0到3G(其實(shí)是到PAGE_OFFSET,在0x86中它等于0xC)，從3G到vmalloc_start這段地址是物理內(nèi)存映射區(qū)域（該區(qū)域中包含了內(nèi)核鏡像、物理頁面表mem_map等等）比如我使用的系統(tǒng)內(nèi)存是64M(可以用free看到)，那么(3G——3G+64M)這片內(nèi)存就應(yīng)該映射到物理內(nèi)存，而vmalloc_start位置應(yīng)在3G+64M附近（說”附近”因?yàn)槭窃谖锢韮?nèi)存映射區(qū)與vmalloc_start期間還會存在一個8M大小的gap來防止躍界）,vmalloc_end的位置接近4G(說”接近”是因?yàn)樽詈笪恢孟到y(tǒng)會保留一片128k大小的區(qū)域用于專用頁面映射，還有可能會有高端內(nèi)存映射區(qū)，這些都是細(xì)節(jié)，這里我們不做糾纏)。
請點(diǎn)擊輸入圖片描述
上圖是內(nèi)存分布的模糊輪廓
由get_free_page或Kmalloc函數(shù)所分配的連續(xù)內(nèi)存都陷于物理映射區(qū)域，所以它們返回的內(nèi)核虛擬地址和實(shí)際物理地址僅僅是相差一個偏移量（PAGE_OFFSET），你可以很方便的將其轉(zhuǎn)化為物理內(nèi)存地址，同時內(nèi)核也提供了virt_to_phys（）函數(shù)將內(nèi)核虛擬空間中的物理映射區(qū)地址轉(zhuǎn)化為物理地址。要知道，物理內(nèi)存映射區(qū)中的地址與內(nèi)核頁表是有序?qū)?yīng)的，系統(tǒng)中的每個物理頁面都可以找到它對應(yīng)的內(nèi)核虛擬地址（在物理內(nèi)存映射區(qū)中的）。
而vmalloc分配的地址則限于vmalloc_start與vmalloc_end之間。每一塊vmalloc分配的內(nèi)核虛擬內(nèi)存都對應(yīng)一個vm_struct結(jié)構(gòu)體（可別和vm_area_struct搞混，那可是進(jìn)程虛擬內(nèi)存區(qū)域的結(jié)構(gòu)），不同的內(nèi)核虛擬地址被4k大小的空閑區(qū)間隔，以防止越界——見下圖）。與進(jìn)程虛擬地址的特性一樣，這些虛擬地址與物理內(nèi)存沒有簡單的位移關(guān)系，必須通過內(nèi)核頁表才可轉(zhuǎn)換為物理地址或物理頁。它們有可能尚未被映射，在發(fā)生缺頁時才真正分配物理頁面。
這里給出一個小程序幫助大家認(rèn)清上面幾種分配函數(shù)所對應(yīng)的區(qū)域。
#include
#include
#include
unsigned char *pagemem;
unsigned char *kmallocmem;
unsigned char *vmallocmem;
int init_module(void)
{
pagemem = get_free_page(0);
printk(“pagemem=%s”,pagemem);
kmallocmem = kmalloc(100,0);
printk(“kmallocmem=%s”,kmallocmem);
vmallocmem = vmalloc();
printk(“vmallocmem=%s”,vmallocmem);
}
void cleanup_module(void)
{
free_page(pagemem);
kfree(kmallocmem);
vfree(vmallocmem);
}
實(shí)例
內(nèi)存映射(mmap)是Linux操作系統(tǒng)的一個很大特色，它可以將系統(tǒng)內(nèi)存映射到一個文件（設(shè)備）上，以便可以通過訪問文件內(nèi)容來達(dá)到訪問內(nèi)存的目的。這樣做的更大好處是提高了內(nèi)存訪問速度，并且可以利用文件系統(tǒng)的接口編程（設(shè)備在Linux中作為特殊文件處理）訪問內(nèi)存，降低了開發(fā)難度。許多設(shè)備驅(qū)動程序便是利用內(nèi)存映射功能將用戶空間的一段地址關(guān)聯(lián)到設(shè)備內(nèi)存上，無論何時，只要內(nèi)存在分配的地址范圍內(nèi)進(jìn)行讀寫，實(shí)際上就是對設(shè)備內(nèi)存的訪問。同時對設(shè)備文件的訪問也等同于對內(nèi)存區(qū)域的訪問，也就是說，通過文件操作接口可以訪問內(nèi)存。Linux中的X服務(wù)器就是一個利用內(nèi)存映射達(dá)到直接高速訪問視頻卡內(nèi)存的例子。
熟悉文件操作的朋友一定會知道file_operations結(jié)構(gòu)中有mmap方法，在用戶執(zhí)行mmap系統(tǒng)調(diào)用時，便會調(diào)用該方法來通過文件訪問內(nèi)存——不過在調(diào)用文件系統(tǒng)mmap方法前，內(nèi)核還需要處理分配內(nèi)存區(qū)域（vma_struct）、建立頁表等工作。對于具體映射細(xì)節(jié)不作介紹了，需要強(qiáng)調(diào)的是,建立頁表可以采用remap_page_range方法一次建立起所有映射區(qū)的頁表，或利用vma_struct的nopage方法在缺頁時現(xiàn)場一頁一頁的建立頁表。之一種方法相比第二種方法簡單方便、速度快， 但是靈活性不高。一次調(diào)用所有頁表便定型了，不適用于那些需要現(xiàn)場建立頁表的場合——比如映射區(qū)需要擴(kuò)展或下面我們例子中的情況。
我們這里的實(shí)例希望利用內(nèi)存映射，將系統(tǒng)內(nèi)核中的一部分虛擬內(nèi)存映射到用戶空間，以供應(yīng)用程序讀取——你可利用它進(jìn)行內(nèi)核空間到用戶空間的大規(guī)模信息傳輸。因此我們將試圖寫一個虛擬字符設(shè)備驅(qū)動程序，通過它將系統(tǒng)內(nèi)核空間映射到用戶空間——將內(nèi)核虛擬內(nèi)存映射到用戶虛擬地址。從上一節(jié)已經(jīng)看到Linux內(nèi)核空間中包含兩種虛擬續(xù)但非物理連續(xù)的vmalloc分配的內(nèi)存虛擬地址。我們的例子程序?qū)⒀菔景裿malloc分配的內(nèi)核虛擬地址映射到用戶地址空間的全過程。
程序里主要應(yīng)解決兩個問題：
之一是如何將vmalloc分配的內(nèi)核虛擬內(nèi)存正確地轉(zhuǎn)化成物理地址？
因?yàn)閮?nèi)存映射先要獲得被映射的物理地址，然后才能將其映射到要求的用戶虛擬地址上。我們已經(jīng)看到內(nèi)核物理內(nèi)存映射區(qū)域中的地址可以被內(nèi)核函數(shù)virt_to_phys轉(zhuǎn)換成實(shí)際的物理內(nèi)存地址，但對于vmalloc分配的內(nèi)核虛擬地址無法直接轉(zhuǎn)化成物理地址，所以我們必須對這部分虛擬內(nèi)存格外“照顧”——先將其轉(zhuǎn)化成內(nèi)核物理內(nèi)存映射區(qū)域中的地址，然后在用virt_to_phys變?yōu)槲锢淼刂贰?/p>
轉(zhuǎn)化工作需要進(jìn)行如下步驟：
找到vmalloc虛擬內(nèi)存對應(yīng)的頁表，并尋找到對應(yīng)的頁表項(xiàng)。
獲取頁表項(xiàng)對應(yīng)的頁面指針
通過頁面得到對應(yīng)的內(nèi)核物理內(nèi)存映射區(qū)域地址。
如下圖所示：
第二是當(dāng)訪問vmalloc分配區(qū)時，如果發(fā)現(xiàn)虛擬內(nèi)存尚未被映射到物理頁，則需要處理“缺頁異?！?。因此需要我們實(shí)現(xiàn)內(nèi)存區(qū)域中的nopaga操作，以能返回被映射的物理頁面指針，在我們的實(shí)例中就是返回上面過程中的內(nèi)核物理內(nèi)存映射區(qū)域中的地址。由于vmalloc分配的虛擬地址與物理地址的對應(yīng)關(guān)系并非分配時就可確定，必須在缺頁現(xiàn)場建立頁表，因此這里不能使用remap_page_range方法，只能用vma的nopage方法一頁一頁的建立。
程序組成
map_driver.c，它是以模塊形式加載的虛擬字符驅(qū)動程序。該驅(qū)動負(fù)責(zé)將一定長的內(nèi)核虛擬地址(vmalloc分配的)映射到設(shè)備文件上。其中主要的函數(shù)有——vaddress_to_kaddress（）負(fù)責(zé)對vmalloc分配的地址進(jìn)行頁表解析,以找到對應(yīng)的內(nèi)核物理映射地址（kmalloc分配的地址）；map_nopage()負(fù)責(zé)在進(jìn)程訪問一個當(dāng)前并不存在的VMA頁時，尋找該地址對應(yīng)的物理頁，并返回該頁的指針。
test.c 它利用上述驅(qū)動模塊對應(yīng)的設(shè)備文件在用戶空間讀取讀取內(nèi)核內(nèi)存。結(jié)果可以看到內(nèi)核虛擬地址的內(nèi)容（ok!），被顯示在了屏幕上。
執(zhí)行步驟
編譯map_driver.c為map_driver.o模塊,具體參數(shù)見Makefile
加載模塊 ：inod map_driver.o
生成對應(yīng)的設(shè)備文件
1 在/proc/devices下找到map_driver對應(yīng)的設(shè)備命和設(shè)備號：grep mapdrv /proc/devices
2 建立設(shè)備文件mknod mapfile c（在我的系統(tǒng)里設(shè)備號為254）
關(guān)于淺談linux的內(nèi)存管理機(jī)制的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
成都創(chuàng)新互聯(lián)建站主營：成都網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、網(wǎng)站改版的網(wǎng)站建設(shè)公司，提供成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、成都網(wǎng)站推廣、成都網(wǎng)站優(yōu)化seo、響應(yīng)式移動網(wǎng)站開發(fā)制作等網(wǎng)站服務(wù)。
網(wǎng)頁標(biāo)題：探究linux內(nèi)存管理機(jī)制(淺談linux的內(nèi)存管理機(jī)制)
當(dāng)前地址：http://m.fisionsoft.com.cn/article/dpocjcc.html
