JAVA IO 与 NIO 理解
  MVWmI9wT9lDm 2023年11月02日 34 0


所谓NIO 就是 NewIO ,因为原来的IO又叫OIO。 首先讲一下OIO。 在这里通过代码讲解可能更容易理解一些。我只写出部分代码。



try{ 
 
 
 
serverSocket = new ServerSocket(port);
while(true){
socket = serverSocket.accept();
new LogicThread(socket);
}

 

从这段代码中可以很明显的看出 serverSocket对象一直处在一个死循环中,也就是堵塞。 一直等到有客户端连接的时候才会返回一个socket句柄。顺便说一下serverSocket对象。serverSocket类就是java抽象出来,用来处理操作系统的请求队列之类的东东。例如你可以设定可以允许队列接受多少个客户端请求。接着刚才的说,一旦有了客户端的时候,我们就去new LogicThread 。假如500个客户端请求,那么服务器就会创建500个线程来去应对500个客户端。当然一般采用线程池。我这里只是为了方便讲解就直接创建线程了。在线程里我们看一下代码:  try{

                        

//初始化流
                            os = socket.getOutputStream();
                            is = socket.getInputStream();
                            for(int i = 0;i < 3;i++){
                                     //读取数据
                                     int n = is.read(b);
                                     //逻辑处理
                                     byte[] response = logic(b,0,n);
                                     //反馈数据
                                     os.write(response);
                            }

可以看到在读数据的时候又是堵塞的。

总结一下OIO的缺点就是

1. 当客户端多时,会创建大量的处理线程。且每个线程都要占用栈空间和一些CPU时间
2. 阻塞可能带来频繁的上下文切换,且大部分上下文切换可能是无意义的。

在这种情况下非阻塞式I/O就有了它的应用前景。

 

我们依然通过代码来讲解NIO。JAVA NIO 采用的是双向通道。channel 而不是单项的Stream。 我们可以向channel上注册感兴趣的事件。 事件就是四个:

事件名

对应值

服务端接收客户端连接事件

SelectionKey.OP_ACCEPT(16)

客户端连接服务端事件

SelectionKey.OP_CONNECT(8)

读事件

SelectionKey.OP_READ(1)

写事件

SelectionKey.OP_WRITE(4)

 对于每一个channel 总得有个东西来去管理吧。。这个东西就是selector。该对象能检测一个或多个通道 (channel) 上的事件。

 

 

下面就到了具体他为什么和老的IO区别了!!!

假设:某时刻客户端给服务端发送了一些数据,采用古老的I/O,就像前面输的那样,会创建了一个线程,然后去读这个客户端的数据。调用read()方法阻塞地读取数据。新的IO呢???而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector,如果访问selector时发现有感兴趣的事件到达,则处理这些事件,如果没有感兴趣的事件到达,则处理线程会一直阻塞直到感兴趣的事件到达为止。

 

代码:

1.         ServerSocketChannel serverChannel = ServerSocketChannel.open();  
2.         // 设置通道为非阻塞  
3.         serverChannel.configureBlocking(false);  
4.         // 将该通道对应的ServerSocket绑定到port端口  
5.         serverChannel.socket().bind(new InetSocketAddress(port));  
6.         // 获得一个通道管理器  
7.         this.selector = Selector.open();  
8.         //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_ACCEPT事件,注册该事件后,  
9.         //当该事件到达时,selector.select()会返回,如果该事件没到达selector.select()会一直阻塞。  
10.         serverChannel.register(selector, SelectionKey.OP_ACCEPT);  
11.     
12.     @SuppressWarnings("unchecked")  
13.     public void listen() throws IOException {  
14.         System.out.println("服务端启动成功!");  
15.         // 轮询访问selector  
16.         while (true) {  
17.             //当注册的事件到达时,方法返回;否则,该方法会一直阻塞  
18.             selector.select();  
19.             // 获得selector中选中的项的迭代器,选中的项为注册的事件  
20.             Iterator ite = this.selector.selectedKeys().iterator();  
21.             while (ite.hasNext()) {  
22.                 SelectionKey key = (SelectionKey) ite.next();  
23.                 // 删除已选的key,以防重复处理  
24.                 ite.remove();  
25.                 // 客户端请求连接事件  
26.                 if (key.isAcceptable()) {  
27.                     ServerSocketChannel server = (ServerSocketChannel) key  
28.                             .channel();  
29.                     // 获得和客户端连接的通道  
30.                     SocketChannel channel = server.accept();  
31.                     // 设置成非阻塞  
32.                     channel.configureBlocking(false);  
33.   
34.                     //在这里可以给客户端发送信息哦  
35.                     channel.write(ByteBuffer.wrap(new String("向客户端发送了一条信息").getBytes()));  
36.                     //在和客户端连接成功之后,为了可以接收到客户端的信息,需要给通道设置读的权限。  
37.                     channel.register(this.selector, SelectionKey.OP_READ);  
38.                       
39.                     // 获得了可读的事件  
40.                 } else if (key.isReadable()) {  
41.                         read(key);  
42.                 }  
43.   
44.             }  
45.   
46.         }  
47.     }  
48.       
49.     public void read(SelectionKey key) throws IOException{  
50.         // 服务器可读取消息:得到事件发生的Socket通道  
51.         SocketChannel channel = (SocketChannel) key.channel();  
52.         // 创建读取的缓冲区  
53.         ByteBuffer buffer = ByteBuffer.allocate(10);  
54.         channel.read(buffer);  
55.         byte[] data = buffer.array();  
56.         String msg = new String(data).trim();  
57.         System.out.println("服务端收到信息:"+msg);  
58.         ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());  
59.         channel.write(outBuffer);// 将消息回送给客户端  
60.     }



就是这个样子的。。通俗一点:NIO 有一个专门的线程,去监视端口,一旦有客户端请求到达,就会添加一个事件。NIO最重要的就是基于事件驱动。然后work轮询知道发现自己注册的事件有了后就去工作。http://developer.51cto.com/art/201112/307463_3.htm



 



----------------------------------



传统的socket IO中,需要为每个连接创建一个线程,当并发的连接数量非常巨大时,线程所占用的栈内存和CPU线程切换的开销将非常巨大。使用NIO,不再需要为每个线程创建单独的线程,可以用一个含有限数量线程的线程池,甚至一个线程来为任意数量的连接服务。由于线程数量小于连接数量,所以每个线程进行IO操作时就不能阻塞,如果阻塞的话,有些连接就得不到处理,NIO提供了这种非阻塞的能力。

 

小量的线程如何同时为大量连接服务呢,答案就是就绪选择。这就好比到餐厅吃饭,每来一桌客人,都有一个服务员专门为你服务,从你到餐厅到结帐走人,这样方式的好处是服务质量好,一对一的服务,VIP啊,可是缺点也很明显,成本高,如果餐厅生意好,同时来100桌客人,就需要100个服务员,那老板发工资的时候得心痛死了,这就是传统的一个连接一个线程的方式。

 

老板是什么人啊,精着呢。这老板就得捉摸怎么能用10个服务员同时为100桌客人服务呢,老板就发现,服务员在为客人服务的过程中并不是一直都忙着,客人点完菜,上完菜,吃着的这段时间,服务员就闲下来了,可是这个服务员还是被这桌客人占用着,不能为别的客人服务,用华为领导的话说,就是工作不饱满。那怎么把这段闲着的时间利用起来呢。这餐厅老板就想了一个办法,让一个服务员(前台)专门负责收集客人的需求,登记下来,比如有客人进来了、客人点菜了,客人要结帐了,都先记录下来按顺序排好。每个服务员到这里领一个需求,比如点菜,就拿着菜单帮客人点菜去了。点好菜以后,服务员马上回来,领取下一个需求,继续为别人客人服务去了。这种方式服务质量就不如一对一的服务了,当客人数据很多的时候可能需要等待。但好处也很明显,由于在客人正吃饭着的时候服务员不用闲着了,服务员这个时间内可以为其他客人服务了,原来10个服务员最多同时为10桌客人服务,现在可能为50桌,60客人服务了。

 

这种服务方式跟传统的区别有两个:

1、增加了一个角色,要有一个专门负责收集客人需求的人。NIO里对应的就是Selector。

2、由阻塞服务方式改为非阻塞服务了,客人吃着的时候服务员不用一直侯在客人旁边了。传统的IO操作,比如read(),当没有数据可读的时候,线程一直阻塞被占用,直到数据到来。NIO中没有数据可读时,read()会立即返回0,线程不会阻塞。

 

NIO中,客户端创建一个连接后,先要将连接注册到Selector,相当于客人进入餐厅后,告诉前台你要用餐,前台会告诉你你的桌号是几号,然后你就可能到那张桌子坐下了,SelectionKey就是桌号。当某一桌需要服务时,前台就记录哪一桌需要什么服务,比如1号桌要点菜,2号桌要结帐,服务员从前台取一条记录,根据记录提供服务,完了再来取下一条。这样服务的时间就被最有效的利用起来了。

 

----------------------------------------

 

导读J2SE1.4以上版本中发布了全新的I/O类库。本文将通过一些实例来简单介绍NIO库提供的一些新特性:非阻塞I/O,字符转换,缓冲以及通道。



一. 介绍 NIO
NIO包(java.nio.*)引入了四个关键的抽象数据类型,它们共同解决传统的I/O类中的一些问题。
1 . Buffer:它是包含数据且用于读写的线形表结构。其中还提供了一个特殊类用于内存映射文件的I/O操作。
2 . Charset:它提供Unicode字符串影射到字节序列以及逆影射的操作。
3 . Channels:包含socket,file和pipe三种管道,它实际上是双向交流的通道。
4 . Selector:它将多元异步I/O操作集中到一个或多个线程中(它可以被看成是Unix中select()函数或Win32中WaitForSingleEvent()函数的面向对象版本)。
二. 回顾传统
在介绍NIO之前,有必要了解传统的I/O操作的方式。以网络应用为例,传统方式需要监听一个ServerSocket,接受请求的连接为其提供服务(服务通常包括了处理请求并发送响应)图一是服务器的生命周期图,其中标有粗黑线条的部分表明会发生I/O阻塞。



JAVA IO 与 NIO 理解_java


 


图一


可以分析创建服务器的每个具体步骤。首先创建 ServerSocket
ServerSocket server=new ServerSocket(10000);
然后接受新的连接请求  
Socket newConnection=server.accept();
对于accept方法的调用将造成阻塞,直到ServerSocket接受到一个连接请求为止。一旦连接请求被接受,服务器可以读客户socket中的请求。

InputStream in = newConnection.getInputStream();
InputStreamReader reader = new InputStreamReader(in);
BufferedReader buffer = new BufferedReader(reader);
Request request = new Request();
while(!request.isComplete()) {
String line = buffer.readLine();
request.addLine(line);
}


这样的操作有两个问题,首先BufferedReader类的readLine()方法在其缓冲区未满时会造成线程阻塞,只有一定数据填满了缓冲区或者客户关闭了套接字,方法才会返回。其次,它回产生大量的垃圾,BufferedReader创建了缓冲区来从客户套接字读入数据,但是同样创建了一些字符串存储这些数据。虽然BufferedReader内部提供了StringBuffer处理这一问题,但是所有的String很快变成了垃圾需要回收。
同样的问题在发送响应代码中也存在

Response response = request.generateResponse();
OutputStream out = newConnection.getOutputStream();
InputStream in = response.getInputStream()    ; 
   
int ch    ; 
   
while(-1 != (ch = in.read())) {
out.write(ch);
}
newConnection.close();


类似的,读写操作被阻塞而且向流中一次写入一个字符会造成效率低下,所以应该使用缓冲区,但是一旦使用缓冲,流又会产生更多的垃圾。
传统的解决方法
通常在Java中处理阻塞I/O要用到线程(大量的线程)。一般是实现一个线程池用来处理请求,如图二


JAVA IO 与 NIO 理解_客户端_02


 

图二

线程使得服务器可以处理多个连接,但是它们也同样引发了许多问题。每个线程拥有自己的栈空间并且占用一些CPU时间,耗费很大,而且很多时间是浪费在阻塞的I/O操作上,没有有效的利用CPU。

三. 新 I/O

1.  Buffer

传统的I/O不断的浪费对象资源(通常是String)。新I/O通过使用Buffer读写数据避免了资源浪费。Buffer对象是线性的,有序的数据集合,它根据其类别只包含唯一的数据类型。

java.nio.Buffer  类描述  

java.nio.ByteBuffer 包含字节类型。 可以从ReadableByteChannel中读在 WritableByteChannel中写  

java.nio.MappedByteBuffer 包含字节类型,直接在内存某一区域映射  

java.nio.CharBuffer 包含字符类型,不能写入通道  

java.nio.DoubleBuffer 包含double类型,不能写入通道  

java.nio.FloatBuffer 包含float类型  

java.nio.IntBuffer 包含int类型  

java.nio.LongBuffer 包含long类型  

java.nio.ShortBuffer 包含short类型  

可以通过调用allocate(int capacity)方法或者allocateDirect(int capacity)方法分配一个Buffer。特别的,你可以创建MappedBytesBuffer通过调用FileChannel.map(int mode,long position,int size)。直接(direct)buffer在内存中分配一段连续的块并使用本地访问方法读写数据。非直接(nondirect)buffer通过使用Java中的数组访问代码读写数据。有时候必须使用非直接缓冲例如使用任何的wrap方法(如ByteBuffer.wrap(byte[]))在Java数组基础上创建buffer。

2 . 字符编码

向ByteBuffer中存放数据涉及到两个问题:字节的顺序和字符转换。ByteBuffer内部通过ByteOrder类处理了字节顺序问题,但是并没有处理字符转换。事实上,ByteBuffer没有提供方法读写String。

Java.nio.charset.Charset 处理了字符转换问题。它通过构造CharsetEncoder和CharsetDecoder将字符序列转换成字节和逆转换。

3 . 通道 (Channel)

你可能注意到现有的java.io类中没有一个能够读写Buffer类型,所以NIO中提供了Channel类来读写Buffer。通道可以认为是一种连接,可以是到特定设备,程序或者是网络的连接。通道的类等级结构图如下



JAVA IO 与 NIO 理解_客户端_03


 

图三

图中ReadableByteChannel和WritableByteChannel分别用于读写。

GatheringByteChannel 可以从使用一次将多个Buffer中的数据写入通道,相反的,ScatteringByteChannel则可以一次将数据从通道读入多个Buffer中。你还可以设置通道使其为阻塞或非阻塞I/O操作服务。

为了使通道能够同传统I/O类相容,Channel类提供了静态方法创建Stream或 Reader

4.  Selector

在过去的阻塞I/O中,我们一般知道什么时候可以向stream中读或写,因为方法调用直到stream准备好时返回。但是使用非阻塞通道,我们需要一些方法来知道什么时候通道准备好了。在NIO包中,设计Selector就是为了这个目的。SelectableChannel可以注册特定的事件,而不是在事件发生时通知应用,通道跟踪事件。然后,当应用调用Selector上的任意一个selection方法时,它查看注册了的通道看是否有任何感兴趣的事件发生。图四是selector和两个已注册的通道的例子

JAVA IO 与 NIO 理解_客户端_04


 

图四

并不是所有的通道都支持所有的操作。SelectionKey类定义了所有可能的操作位,将要用两次。首先,当应用调用SelectableChannel.register(Selector sel,int op)方法注册通道时,它将所需操作作为第二个参数传递到方法中。然后,一旦SelectionKey被选中了,SelectionKey的readyOps()方法返回所有通道支持操作的数位的和。SelectableChannel的validOps方法返回每个通道允许的操作。注册通道不支持的操作将引发IllegalArgumentException异常。下表列出了SelectableChannel子类所支持的操作。


ServerSocketChannel OP_ACCEPT 

SocketChannel OP_CONNECT, OP_READ, OP_WRITE 

DatagramChannel OP_READ, OP_WRITE 

Pipe.SourceChannel OP_READ 

Pipe.SinkChannel OP_WRITE

四. 举例说明
1 . 简单网页内容下载
这个例子非常简单,类SocketChannelReader使用SocketChannel来下载特定网页的HTML内容。
package examples.nio;


import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;   
public class SocketChannelReader{

private Charset charset=Charset.forName("UTF-8");//    创建UTF-8字符集    
private SocketChannel channel;   
public void getHTMLContent(){
try{
connect();
sendRequest();
readResponse();
}catch(IOException e){
System.err.println(e.toString());
}finally{
if(channel!=null){
try{
channel.close();
}catch(IOException e){}
}
}
}
private void connect()throws IOException{//    连接到    CSDN
InetSocketAddress socketAddress=
new InetSocketAddress("",80/);
channel=SocketChannel.open(socketAddress);
//使用工厂方法open创建一个channel并将它连接到指定地址上    
//    相当与SocketChannel.open().connect(socketAddress);调用    
}   
private void sendRequest()throws IOException{
channel.write(charset.encode("GET "
+"/document"
+"\r\n\r\n"));//    发送GET请求到CSDN的文档中心    
//    使用channel.write方法,它需要CharByte类型的参数,使用    
//Charset.encode(String)    方法转换字符串。    
}   
private void readResponse()throws IOException{//    读取应答    
ByteBuffer buffer=ByteBuffer.allocate(1024);//    创建1024字节的缓冲    
while(channel.read(buffer)!=-1){
buffer.flip();//flip    方法在读缓冲区字节操作之前调用。    
System.out.println(charset.decode(buffer));
//    使用Charset.decode方法将字节转换为字符串    
buffer.clear();//    清空缓冲    
}
}   
public static void main(String [] args){
new SocketChannelReader().getHTMLContent();
}


2 . 简单的加法服务器和客户机
服务器代码

package examples.nio;
   
import java.nio.ByteBuffer;
import java.nio.IntBuffer;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.net.InetSocketAddress;
import java.io.IOException;   
/**
* SumServer.java
*
*
* Created: Thu Nov 06 11:41:52 2003
*
* @author starchu1981
* @version 1.0
*/
public class SumServer {   
private ByteBuffer _buffer=ByteBuffer.allocate(8);
private IntBuffer _intBuffer=_buffer.asIntBuffer();
private SocketChannel _clientChannel=null;
private ServerSocketChannel _serverChannel=null;   
public void start(){
try{
openChannel();
waitForConnection();
}catch(IOException e){
System.err.println(e.toString());
}
}   
private void openChannel()throws IOException{
_serverChannel=ServerSocketChannel.open();
_serverChannel.socket().bind(new InetSocketAddress(10000));
System.out.println("    服务器通道已经打开    ");
}   
private void waitForConnection()throws IOException{
while(true){
_clientChannel=_serverChannel.accept();
if(_clientChannel!=null){
System.out.println("    新的连接加入    ");
processRequest();
_clientChannel.close();
}
}
}   
private void processRequest()throws IOException{
_buffer.clear();
_clientChannel.read(_buffer);
int result=_intBuffer.get(0)+_intBuffer.get(1);
_buffer.flip();
_buffer.clear();
_intBuffer.put(0,result);
_clientChannel.write(_buffer);
}   
public static void main(String [] args){
new SumServer().start();
}
} // SumServer    
客户代码    
package examples.nio;   
import java.nio.ByteBuffer;
import java.nio.IntBuffer;
import java.nio.channels.SocketChannel;
import java.net.InetSocketAddress;
import java.io.IOException;   
/**
* SumClient.java
*
*
* Created: Thu Nov 06 11:26:06 2003
*
* @author starchu1981
* @version 1.0
*/
public class SumClient {   
private ByteBuffer _buffer=ByteBuffer.allocate(8);
private IntBuffer _intBuffer;
private SocketChannel _channel;   
public SumClient() {
_intBuffer=_buffer.asIntBuffer();
} // SumClient constructor

public int getSum(int first,int second){
int result=0;
try{
_channel=connect();
sendSumRequest(first,second);
result=receiveResponse();
}catch(IOException e){System.err.println(e.toString());
}finally{
if(_channel!=null){
try{
_channel.close();
}catch(IOException e){}
}
}
return result;
}   
private SocketChannel connect()throws IOException{
InetSocketAddress socketAddress=
new InetSocketAddress("localhost",10000);
return SocketChannel.open(socketAddress);
}

private void sendSumRequest(int first,int second)throws IOException{
_buffer.clear();
_intBuffer.put(0,first);
_intBuffer.put(1,second);
_channel.write(_buffer);
System.out.println("    发送加法请求     "+first+"+"+second);
}

private int receiveResponse()throws IOException{
_buffer.clear();
_channel.read(_buffer);
return _intBuffer.get(0);
}   
public static void main(String [] args){
SumClient sumClient=new SumClient();
System.out.println("    加法结果为     :"+sumClient.getSum(100,324));
}
} // SumClient    
3    . 非阻塞的加法服务器    
首先在openChannel方法中加入语句    
_serverChannel.configureBlocking(false);//    设置成为非阻塞模式   
重写WaitForConnection方法的代码如下,使用非阻塞方式     
private void waitForConnection()throws IOException{
Selector acceptSelector = SelectorProvider.provider().openSelector();   
/*    在服务器套接字上注册selector并设置为接受accept方法的通知。    
这就告诉Selector,套接字想要在accept操作发生时被放在ready表    
上,因此,允许多元非阻塞I/O发生。    */
SelectionKey acceptKey = ssc.register(acceptSelector, 
SelectionKey.OP_ACCEPT);
int keysAdded = 0;

/*select方法在任何上面注册了的操作发生时返回    */
while ((keysAdded = acceptSelector.select()) > 0) {
// 某客户已经准备好可以进行I/O操作了,获取其ready键集合    
Set readyKeys = acceptSelector.selectedKeys();
Iterator i = readyKeys.iterator();   
//     遍历ready键集合,并处理加法请求    
while (i.hasNext()) {
SelectionKey sk = (SelectionKey)i.next();
i.remove();
ServerSocketChannel nextReady = 
(ServerSocketChannel)sk.channel();
//     接受加法请求并处理它    
_clientSocket = nextReady.accept().socket();
processRequest();
_clientSocket.close();
}
}
}


参考资料
1 .  <Master Merlin's new I/O classes> From <http://www.javawordl.com/>
2.  J2SE1.4.2 API Specification From <http://java.sun.com/>
3.  <Working with SocketChannels> From <http://developer.java.sun.com/developer>
4. NIO Examples From <http://java.sun.com/>


 


.

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  SBowDWXjb0NT   2023年11月30日   22   0   0 redis线程池数据
MVWmI9wT9lDm
作者其他文章 更多
最新推荐 更多