建站
咨詢
售后
建站咨詢
新聞中心
江湖上的人都碰到過Too many open files的錯誤(無論你是多線程，網(wǎng)絡(luò)socket，還是別的什么幺蛾子，這個錯誤很常見)。筆者一個朋友剛好也碰到過，經(jīng)過一番搜索最終解決了問題。但是始終沒有搞清楚——“到底問題出在哪里?”。我當然也講不清楚(否則就不會有這篇文章咯)網(wǎng)上也找不到相關(guān)資料。作為一個有良知的自媒體公眾賬號，我決定要把替大家去深究一下這個問題。(花了兩個晚上~~，記得打賞我)
創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站制作、臨縣網(wǎng)絡(luò)推廣、微信小程序定制開發(fā)、臨縣網(wǎng)絡(luò)營銷、臨縣企業(yè)策劃、臨縣品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供臨縣建站搭建服務(wù)，24小時服務(wù)熱線：18980820575，官方網(wǎng)址：www.cdcxhl.com
網(wǎng)上流傳的三種做法：
- 修改ulimit命令修改，這種修改只能在當前會話有效或者/etc/security/limits.conf設(shè)置hard soft nofile，可以一直有效
- sysctl修改fs.file-max
- 修改/proc/sys/fs/nr_open(可選)
還有一種傳說這是有優(yōu)先級的——limit.conf < fs.file-max < nr_open
然而這都是扯淡，純粹的臆想。有良知的自媒體公眾賬號是講道理的，正所謂——沒代碼你說個屁啊!!!;所以我就順著Linux Kernel的代碼挖了下去。
Linux/Unix一個著名的哲學(xué)就是——“萬物皆文件”，無論是一個線程、socket、還是真正的文件都會被當做“文件”。Too may open files通常意味著“文件描述符”不足，它一般會發(fā)生在“創(chuàng)建線程”、“創(chuàng)建socket”、“打開文件”這種場景下。我選“創(chuàng)建socket”作為出發(fā)點
文件描述符的限制?不對!!
調(diào)用socket函數(shù)的時候內(nèi)核會分兩步操作——填充數(shù)據(jù)結(jié)構(gòu)，分配fd。我們重點看socket_map_fd
關(guān)鍵的地方來了，get_unused_fd_flags會嘗試分配一個fd，但是這個僅僅是fd——是一個數(shù)字而已;就是我們常說的——文件描述符。僅僅有一個數(shù)字并不代表什么，它相當于一個占位符，系統(tǒng)并沒有實際的分配資源。socket_alloc_file才是真正的建立文件結(jié)構(gòu)(內(nèi)核的數(shù)據(jù)結(jié)構(gòu)：struct file)。打開get_unsed_fd_flags摸下去：
同志們，重點又來了。rlimit(RLIMIT_NOFILE)這個函數(shù)得到的是soft nofile，我們繼續(xù)看__alloc_fd
fd備用有三部分組成，進程當前預(yù)分配的(fd位圖中設(shè)置了標記，fdt->next_fd);進程當前可用的(fd位圖中沒有設(shè)置標記，fdt->max_fds);進程擴展的(fd位圖中都不存在，需要執(zhí)行expand_files擴展fd位圖)所以__alloc_fd函數(shù)分為了三步嘗試分配fd。
- 嘗試“預(yù)分配”的fd(直接分配)
- 嘗試分配“可用的”的fd(需要填充位圖)
- 嘗試擴展fd位圖大小
如果fd超過soft nofile，這個函數(shù)會直接返回“錯誤”。所以soft nofile是fd大小限制的***道關(guān)卡，hard nofile全程沒用。soft nofile的準確而含義是——當前可以使用多少fd。
當前是跟“進程”有關(guān)系的，詳細內(nèi)容請看***一部分。我們繼續(xù)看“擴充”fd：
fs.nr_open是文件描述符的***一道關(guān)卡，當我們嘗試擴充文件描述符的時候只要你不大于它系統(tǒng)就允許你擴充，它的***值是2147483584。
結(jié)論：
- soft nofile、fs.nr_open是用來控制文件描述符數(shù)量的
- soft nofile其實是linux的pam_limit模塊設(shè)置的如果你不啟用這個模塊，你只能通過ulimit命令調(diào)整。如果不調(diào)整它的值是4096(可以看***的代碼圖)
- nr_open表示文件描述符***數(shù)量。它的***值是2147483584(64位機器上2^31-64)。這也是是soft nofile、fs.nr_open可以設(shè)置的***值。
文件結(jié)構(gòu)體
文件描述符在內(nèi)核中其實是一個數(shù)字，它代表的是一個“索引”而索引的內(nèi)容是“文件結(jié)構(gòu)體”(內(nèi)核數(shù)據(jù)結(jié)構(gòu) struct file)。內(nèi)核分配資源的時候把“索引”和“內(nèi)容”當做兩種資源來分配。先申請“索引”后申請“內(nèi)容”。跳回sock_map_fd看第二步——分配文件結(jié)構(gòu)，它調(diào)用了sock_alloc_file函數(shù)。
順著這個函數(shù)走下去你會發(fā)現(xiàn)——file-max(為了節(jié)省版面，完整的代碼圖我附在后面)
file-max是指struct file的上限。你可以把soft nofile、fs.nr_open設(shè)置成天文數(shù)字，但是不設(shè)置file-max就意味著沒法分配struct file，文件描述符就沒用了，依舊資源分配不成功。(像12306，你搶到票還不行還得“排隊”。搶到的僅僅是一個占位符，到***可能“沒票了”。對，我沒買到車票，等大家眾籌機票了。)
總結(jié)：
- fs.file-max是用來控制文件結(jié)構(gòu)體數(shù)量的
等等，還沒結(jié)束
上面已經(jīng)扒出了三個參數(shù)的真實意義，但是作為一個——有良知的自媒體公眾號必須把道理講清楚。所以我就挖出了soft nofile的前生今世。
PAM(Pluggable Authentication Modules)是Linux的認證框架，在系統(tǒng)啟動成功后無論是后臺服務(wù)進程還是bash都會通過setup_limits加載/etc/security/limit.conf文件然后調(diào)用setrlimit重新設(shè)置進程的rlimt——其中就包括了soft nofile。(pam_limit不在內(nèi)核代碼中它有自己獨立的代碼倉庫，為了做有良知的自媒體我是不是特別拼?)
ulimit這個命令其實是系統(tǒng)的內(nèi)部命令(不信你打which ulimit)它也是調(diào)用setrlimit完成的設(shè)置。二者的區(qū)別是pam_limit是自動加載的(屬于linux的“認證模塊”)，ulimit你必須動手輸入命令。
【本文是專欄作者邢森的原創(chuàng)文章，轉(zhuǎn)載請聯(lián)系作者本人獲取授權(quán)】
文章題目：你真知道“Too many open files”?
標題網(wǎng)址：http://m.fisionsoft.com.cn/article/dhpsjse.html
