您好,登录后才能下订单哦!
这篇文章主要介绍了Python之IO多路复用指的是什么,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
IO multiplexing(IO多路复用)
IO多路复用,有些地方称之为event driven IO(事件驱动IO)。
它的好处在于单个进程可以处理多个网络IO请求。select/epoll这两个是函数,它会不断轮询所有的socket,直到某个socket就绪有数据可达,就会通知用户进程,当用户进程调用了select函数,select是一个阻塞方法,会把进程阻塞住,同时会监听所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用readRecv操作,将数据从内核拷贝到用户进程。
select虽然是阻塞的,但是它的优势在于它可以用一个进程处理多个连接,这个利用非阻塞的轮询方式是无法实现的,当连接数增多时优势就明显,而对于单个连接则跟同步IO区别不大甚至性能还要更低。
select,poll,epoll都是IO多路复用的机制,IO多路复用就是通过机制用一个进程监视多个描述符,一旦某个描述符就绪(可读或者可写或者异常),能够通知进程进行响应的操作。但是select,poll,epoll本质上是同步IO,因为他们都需要在读写事件就绪后自己负责读写,这个过程是阻塞的。
下面用Python的socket编程模拟IO多路复用(IO多路复用+回调+事件循环)
class Fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host). encode('utf-8')) selector.register(self.con.fileno(), EVENT_READ, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): ... self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.con.setblocking(False) #设置非阻塞 try: self.con.connect((self.host, 80)) except BlockingIOError as e: pass selector.register(self.con.fileno(), EVENT_WRITE, self.connected)
过程:发送一个socket请求设置为非阻塞,在select函数中注册事件,self.con.fileno表示当前连接在进程中的描述符,EVENT_WRITE表示socket准备是否就绪,self.connected为回调函数,准备完成后就调用。selector.unregister(key.fd)取消注册,发送HTTP请求,再调用selector.register(self.con.fileno(), EVENT_READ, self.read)注册,若当前请求内容可读,则调用read回调函数读取出响应内容。
注明:在windows下会调用select函数,而在linux/unix下则会调用epoll函数。
完整代码如下:
import socket from urllib.parse import urlparse from selectors import DefaultSelector, EVENT_READ, EVENT_WRITE selector = DefaultSelector() class Fetcher: def connected(self, key): selector.unregister(key.fd) self.con.send('GET {} HTTP/1.1\r\nHost:{}\r\nConnection:close\r\n\r\n'.format(self.path,self.host). encode('utf-8')) selector.register(self.con.fileno(), EVENT_READ, self.read) def read(self, key): d = self.con.recv(1024) if d: print(d) self.data += d else: selector.unregister(key.fd) self.data = self.data.decode('utf-8') html_data = self.data.split('\r\n\r\n')[1] print(html_data) self.con.close() def get_url(self, url): url = urlparse(url) self.host = url.netloc self.path = url.path self.data = b'' if self.path == "": self.path = '/' self.con = socket.socket(socket.AF_INET, socket.SOCK_STREAM) self.con.setblocking(False) try: self.con.connect((self.host, 80)) except BlockingIOError as e: pass #注册 selector.register(self.con.fileno(), EVENT_WRITE, self.connected) def loop(): while True: ready = selector.select() for key, mask in ready: callback = key.data callback(key) if __name__ == '__main__': fetcher = Fetcher() fetcher.get_url('http://www.baidu.com') loop()
感谢你能够认真阅读完这篇文章,希望小编分享Python之IO多路复用指的是什么内容对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,遇到问题就找亿速云,详细的解决方法等着你来学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。