Linux服务器上服务启动时,会对指定的端口进行监听bind,如果同一个机器上这个端口已经被使用,则监听失败,程序无法启动。

Linux客户端连接服务器accept时,系统会分配本地临时端口用于网络连接。

目前是”大混部”的时代,一台物理机可能会部署多个服务,如果端口号设置不好,很可能会出现端口被其他程序占用的情况。

在一个Linux上跑一个服务,需要指定一个监听端口(系统调用listen),当client请求服务时,系统为该请求建立 tcp连接,该连接的port值是一个随机数字。该数字的取值范围配置在

本地临时端口配置(2个数: start, end)

# cat /proc/sys/net/ipv4/ip_local_port_range

32768  60999

port的最大值其实可以达到65535(2^16 - 1)。

65535这个数字与操作系统无关,不管Linux系统是32位的还是64位的。

这个数字是由网络tcp协议决定的,tcp协议头部中的16位表示端口号,这就决定了其最大值65535,操作系统只能跟着这个限制。

预留端口配置(可支持逗号分隔的多个数字,比如10000, 10005-10010)

解决方法有2种:

(1) 修改临时端口范围 ip_local_port_range,因为一个程序的端口问题修改一个机器的临时端口范围,明显减少了临时端口的使用量,代价大。

(2) 修改预留端口ip_local_reserved_ports,即使没有发生冲突也可以预先设置,防止后续端口被占用。

使用net.ipv4.ip_local_port_range参数,规划出一段端口段预留作为服务的端口,这种方法是可以解决当前问题,但是会有个问题,端口使用量减少了,当服务器需要消耗大量的端口号的话,比如反代服务器,就存在瓶颈了。 

最好的做法是将服务监听的端口以逗号分隔全部添加到ip_local_reserved_ports中,TCP/IP协议栈从ip_local_port_range中随机选取源端口时,会排除ip_local_reserved_ports中定义的端口,因此就不会出现端口被占用了服务无法启动。

ip_local_reserved_ports正好可以辅助解决上述问题,将服务模块需要listen的端口全部添加到 ip_local_reserved_ports中,这样Linux tcp/ip协议栈从ip_local_port_range中选端口时,会跳过ip_local_reserved_ports中定义的端口。

互联网公司内部具体应用时,可以规定所有业务模块listen端口范围为N-M(如,5000~10000);服务器Linux系统标准配置中,将ip_local_reserved_ports设为N-M。

客户端是 conect()阶段,向内核申请一个指定范围内的随机的空闲端口,所谓的「自动端口分配」。

服务端是根据服务的显式声明,listen()阶段,向内核申请监听某个具体端口,所谓的「显式端口分配」。

当然如果已经被别人占用,就是 报错 port already in use了。

ip_local_reserved_ports 显然是限制 「自动端口分配」行为。

用ansible批量设置服务器的ip_local_reserved_ports内核参数

以为某个服务的端口监听,设置保留端口 12345为例:

# ansible  -i  hosts  xx.xx.xx.xx  -m sysctl -a 'name=net.ipv4.ip_local_reserved_ports  value=12345  sysctl_set=yes   reload=yes state=present'

# sysctl -e -n net.ipv4.ip_local_reserved_ports

# cat /proc/sys/net/ipv4/ip_local_reserved_ports

参考

The ip_local_port_range parameters

https://tldp.org/LDP/solrhe/Securing-Optimizing-Linux-RH-Edition-v1.3/chap6sec70.html

关于被安装服务的监听端口被目标机器上作为客户端程序占用问题

https://www.jianshu.com/p/d3dc74bf52af

ansible sysctl net.ipv4.ip_local_reserved_ports changed

ansible sysctl net.ipv4.ip_local_reserved_ports changed_zhan9san_51CTO博客

ansible sysctl 模块

https://www.jianshu.com/p/6ca060e8c083

https://www.cnblogs.com/mcsiberiawolf/articles/10083541.html

sysctl - Manage entries in sysctl.conf.

https://docs.ansible.com/ansible/2.4/sysctl_module.html

预留端口避免占用ip_local_reserved_ports

http://www.ttlsa.com/linux/reserved-port-to-avoid-occupying-ip_local_reserved_ports

GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:1 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐