这几天在解决一个用mina开发的高并发通信过程中产生的一个bug。

   模拟场景为：

   通过定时触发启动线程模拟高并发短连接测试，测试的服务端有2个，一个是服务有起，一个没起，客户端和服务端均在同一服务器上。执行一段时间后linux主机上通过lsof命令查看，发现有递增的文件句柄，pipe和eventpoll。

   抛出的异常如下：

 

Java代码   收藏代码
  1. 2012 - 10 - 13   10 : 09 : 48  -org.apache.mina.core.service.SimpleIoProcessorPool.<init>(SimpleIoProcessorPool.java: 197 )  
  2.  Failed to create a new  instance of org.apache.mina.transport.socket.nio.NioProcessor: null   
  3. java.lang.reflect.InvocationTargetException  
  4.         at sun.reflect.GeneratedConstructorAccessor110.newInstance(Unknown Source)  
  5.         at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27 )  
  6.         at java.lang.reflect.Constructor.newInstance(Constructor.java:513 )  
  7.         at org.apache.mina.core.service.SimpleIoProcessorPool.<init>(SimpleIoProcessorPool.java:180 )  
  8.         at org.apache.mina.core.service.SimpleIoProcessorPool.<init>(SimpleIoProcessorPool.java:112 )  
  9.         at org.apache.mina.core.polling.AbstractPollingIoConnector.<init>(AbstractPollingIoConnector.java:93 )  
  10.         at org.apache.mina.transport.socket.nio.NioSocketConnector.<init>(NioSocketConnector.java:56 )  
  11.         at com.develop.webplatform.funnel.client.JobClient.sendMessage(JobClient.java:39 )  
  12.         at com.develop.webplatform.funnel.client.JobClient.sendJob(JobClient.java:126 )  
  13.         at com.develop.webplatform.funnel.extend.JobExecRemotelyBySocket.execJobByTask(JobExecRemotelyBySocket.java:66 )  
  14.         at com.develop.webplatform.funnel.JobManager.execJobByTask(JobManager.java:27 )  
  15.         at com.develop.webplatform.quartz.job.TaskJob.executeInternal(TaskJob.java:38 )  
  16.         at org.springframework.scheduling.quartz.QuartzJobBean.execute(QuartzJobBean.java:86)  
  17.         at org.quartz.core.JobRunShell.run(JobRunShell.java:223 )  
  18.         at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:549 )  
  19. Caused by: org.apache.mina.core.RuntimeIoException: Failed to open a selector.  
  20.         at org.apache.mina.transport.socket.nio.NioProcessor.<init>(NioProcessor.java:61 )  
  21.         ... 15  more  
  22. Caused by: java.io.IOException: Too many open files  
  23.         at sun.nio.ch.IOUtil.initPipe(Native Method)  
  24.         at sun.nio.ch.EPollSelectorImpl.<init>(EPollSelectorImpl.java:49 )  
  25.         at sun.nio.ch.EPollSelectorProvider.openSelector(EPollSelectorProvider.java:18 )  
  26.         at java.nio.channels.Selector.open(Selector.java:209 )  
  27.         at org.apache.mina.transport.socket.nio.NioProcessor.<init>(NioProcessor.java:59 )  
  28.         ... 15  more  

 

    原代码中，关于客户端连接的代码如下：

 

Java代码   收藏代码
  1. final  NioSocketConnector connector =  new  NioSocketConnector();  
  2.         final  String[] result =  new  String[ 1 ];  
  3.         connector.getFilterChain().addLast("codec" ,  
  4.                 new  ProtocolCodecFilter( new  ObjectSerializationCodecFactory()));  
  5.         connector.setHandler(handler);  
  6.   
  7.         //设置超时   
  8.         connector.setConnectTimeoutMillis(defaultConnectTimeOut);  
  9.         ConnectFuture connectFuture = connector.connect(address);  
  10.         connectFuture.awaitUninterruptibly();   //同步，等待，直到连接完成   
  11.         if  (connectFuture.isDone()) {  
  12.             if  (!connectFuture.isConnected()) {  //若在指定时间内没连接成功，则抛出异常   
  13.                 logger.info("fail to connect "  + logInfo);  
  14.   
  15.                 throw   new  Exception();  
  16.             }  
  17.         }  

 

         经过分析，导致主机文件句柄泄露的原因为，客户端发起服务端连接时，会请求系统分配相关的文件句柄，在原代码中，仅仅判断是否连接成功，而未对连接失败进 行资源释放，从而造成文件句柄泄露。当总的文件句柄数超过系统设置值（ulimit -n 查看同一个进程允许的最大文件句柄数），则抛出异常“java.io.IOException: Too many open files",导致无法创建新的连接，服务器挂掉。

      更改后的代码如下：

 

Java代码   收藏代码
  1. final  NioSocketConnector connector =  new  NioSocketConnector();  
  2.         final  String[] result =  new  String[ 1 ];  
  3.         connector.getFilterChain().addLast("codec" ,  
  4.                 new  ProtocolCodecFilter( new  ObjectSerializationCodecFactory()));  
  5.         connector.setHandler(handler);  
  6.   
  7.         //设置超时   
  8.         connector.setConnectTimeoutMillis(defaultConnectTimeOut);  
  9.         ConnectFuture connectFuture = connector.connect(address);  
  10.         connectFuture.awaitUninterruptibly();   //同步，等待，直到连接完成   
  11.         if  (connectFuture.isDone()) {  
  12.             if  (!connectFuture.isConnected()) {  //若在指定时间内没连接成功，则抛出异常   
  13.                 logger.info("fail to connect "  + logInfo);  
  14.                 connector.dispose();    //不关闭的话会运行一段时间后抛出，too many open files异常，导致无法连接   
  15.   
  16.                 throw   new  Exception();  
  17.             }  
  18.         }  
GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支：2 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

[转载]在Windows环境下安装GNU Radio

转自：在Windows环境下安装GNURadio_恐弱智_新浪博客GNU Radio是用Python开发的，大部分开源的工程能够在Linux环境下运行良好，而Windows下却运行的很勉强，而且安装配置都很复杂。GNU Radio算是个例外了，不光提供了Windows的二进制安装，还有比较详细的说明。我是Python小白，所以折腾了好久才弄好，特意记录下来，免得以后再装还折腾。GNU Radio的

avatar GitCode 开源社区

centOS 8 使用dnf安装Docker

DNF是什么？CentOS 8使用YUM软件包管理器版本v4.0.4。现在，该版本使用DNF(已删除YUM)。DNF是软件包管理器。它会在Linux发行版上安装，执行更新并删除软件包。使用DNF安装Docker跳过具有损坏依赖性的程序包一个有效的解决方案是使您的CentOS 8系统使用以下--nobest命令安装最符合条件的版本：sudo dnf install docker...

avatar GitCode 开源社区

定时同步数据库表(mysql+linux+crontab)

sync.sh里面的参数需要改变，ip/username/password/database/tablesync.sh#!/bin/sh# Please change the IP and password of the data source db.# Then change the table name.filename=/home/nington/db/$(date +%Y-%m

avatar GitCode 开源社区