当用linux做高并发服务器时,会遇到"Too many open files"的错误。

Linux是有文件句柄限制的(open files),而且Linux默认不是很高,一般都是1024,做高并发生产服务器用其实很容易就达到这个数量。

在linux中执行ulimit -a 即可查询linux相关的参数,如下所示:


  1. ulimit -a  
  2. core file size          (blocks, -c) unlimited  
  3. data seg size           (kbytes, -d) unlimited  
  4. scheduling priority             (-e) 0  
  5. file size               (blocks, -f) unlimited  
  6. pending signals                 (-i) 63470  
  7. max locked memory       (kbytes, -l) 64  
  8. max memory size         (kbytes, -m) unlimited  
  9. open files                      (-n) 1024  
  10. pipe size            (512 bytes, -p) 8  
  11. POSIX message queues     (bytes, -q) 819200  
  12. real-time priority              (-r) 0  
  13. stack size              (kbytes, -s) 8192  
  14. cpu time               (seconds, -t) unlimited  
  15. max user processes              (-u) 102400  
  16. virtual memory          (kbytes, -v) unlimited  
  17. file locks                      (-x) unlimited  

用ulimit命令是可以修改这些配置的

命令的格式:ulimit [-SHacdefilmnpqrstuvx] [limit]

中间的参数对应这要修改的项目。

默认最大打开文件数(open files)最大数为1024,修改:

ulimit -n 102400

最大值为655350

命令参数:


  1. -H 设置硬件资源限制.  
  2. -S 设置软件资源限制.  
  3. -a 显示当前所有的资源限制.  
  4. -c size:设置core文件的最大值.单位:blocks  
  5. -d size:设置数据段的最大值.单位:kbytes  
  6. -f size:设置创建文件的最大值.单位:blocks  
  7. -l size:设置在内存中锁定进程的最大值.单位:kbytes  
  8. -m size:设置可以使用的常驻内存的最大值.单位:kbytes  
  9. -n size:设置内核可以同时打开的文件描述符的最大值.单位:n  
  10. -p size:设置管道缓冲区的最大值.单位:kbytes  
  11. -s size:设置堆栈的最大值.单位:kbytes  
  12. -t size:设置CPU使用时间的最大上限.单位:seconds  
  13. -v size:设置虚拟内存的最大值.单位:kbytes  
  14. unlimited 是一个特殊值,用于表示不限制  

ulimit命令的特点:

1.只对当前tty(终端有效),若要每次都生效的话,可以把ulimit参数放到对应用户的.bash_profile里面;
2.ulimit命令本身就有分软硬设置,加-H就是硬,加-S就是软;
硬限制是可以在任何时候任何进程中设置  但硬限制只能由超级用户提起
软限制是内核实际执行的限制,任何进程都可以将软限制设置为任意小于等于对进程限制的硬限制的值
3.默认显示的是软限制,如果运行ulimit命令修改的时候没有加上的话,就是两个参数一起改变生效;

永久设置


针对所有用户的设置,在/etc/security/limits.conf文件,其是可以对系统用户、组进行cpu、文件数等限制的,通过它可以针对某个用户或全部进行限制。但不能超越系统的限制;
格式:
#<domain>   <type> <item> <value>
*           soft   noproc        102400


domain:表示范围,
a user name       #表示某个用户
a group name   #表示某个组
the wildcard *    #表示所有用户
the wildcard %    #筛选过滤用户


type:表示类型
soft表示可以超出,但只是警告
hard表示绝对不能超出


item:
- core - limits the core file size (KB)
- data - max data size (KB)
- fsize - maximum filesize (KB)
- memlock - max locked-in-memory address space (KB)
- nofile - max number of open file descriptors
- rss - max resident set size (KB)
- stack - max stack size (KB)
- cpu - max CPU time (MIN)
- nproc - max number of processes
- as - address space limit (KB)
- maxlogins - max number of logins for this user
- maxsyslogins - max number of logins on the system
- priority - the priority to run user process with
- locks - max number of file locks the user can hold
- sigpending - max number of pending signals
- msgqueue - max memory used by POSIX message queues (bytes)
- nice - max nice priority allowed to raise to values: [-20, 19]
- rtprio - max realtime priority


value:
unlimited表示不限制


如果想对所有用户设置,也可以放在/etc/profile文件里面,下面是该文件里面的默认参数:
ulimit -S -c 0 > /dev/null 2>&1


参考:http://www.jianshu.com/p/23ee9db2a620


--------------------------------------------------------------------------------------------------------------------------

有一台服务器访问量非常高,使用的是nginx ,错误日志不停报以下错误:

2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)
2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files)

解决方法:

centos5.3 中 ulimit -n 为1024, 当Nginx连接数超过1024时,error.log中就出现以下错误:

[alert] 12766#0: accept() failed (24: Too many open files)

使用 ulimit -n 655350 可以把打开文件数设置足够大, 同时修改nginx.conf , 添加 worker_rlimit_nofile 655350; (与error_log同级别)

这样就可以解决Nginx连接过多的问题,Nginx就可以支持高并发。<还要修改nginx>

另外, ulimit -n 还会影响到mysql 的并发连接数。把他提高,也就提高了mysql并发。

注意: 用ulimit -n 2048 修改只对当前的shell有效,退出后失效。

修改方法

若要令修改ulimits的数值永久生效,则必须修改配置文档,可以给ulimit修改命令放入/etc/profile里面,这个方法实在是不方便,

还有一个方法是修改/etc/security/limits.conf

/etc/security/limits.conf 格式,文件里面有很详细的注释,比如

* soft nofile 655360

* hard nofile 655360

星号代表全局, soft为软件,hard为硬件,nofile为这里指可打开文件数。

把以上两行内容加到 limits.conf文件中即可。

另外,要使 limits.conf 文件配置生效,必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有:

session required /lib/security/pam_limits.so

修改完重新登录就可以见到效果,可以通过 ulimit -n 查看。


GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐