当前位置:首页 > 经验 >

零拷贝和非零拷贝有什么区别(零拷贝通俗理解)

来源:原点资讯(www.yd166.com)时间:2022-10-24 22:34:18作者:YD166手机阅读>>

首先,期间共发生了 4 次用户态与内核态的上下文切换,因为发生了两次系统调用,一次是read ,一次是 write,每次系统调用都得先从用户态切换到内核态,等内核完成任务后,再从内核态切换回用户态。

上下文切换到成本并不小,一次切换需要耗时几十纳秒到几微秒,虽然时间看上去很短,但是在高并发的场景下,这类时间容易被累积和放大,从而影响系统的性能。

其次,还发生了 4 次数据拷贝,其中两次是 DMA 的拷贝,另外两次则是通过 CPU 拷贝的,下面说一下这个过程:

  • 第一次拷贝,把磁盘上的数据拷贝到操作系统内核的缓冲区里,这个拷贝的过程是通过 DMA 搬运的。

  • 第二次拷贝,把内核缓冲区的数据拷贝到用户的缓冲区里,于是我们应用程序就可以使用这部分数据了,这个拷贝到过程是由 CPU 完成的。

  • 第三次拷贝,把刚才拷贝到用户的缓冲区里的数据,再拷贝到内核的 socket 的缓冲区里,这个过程依然还是由 CPU 搬运的。

  • 第四次拷贝,把内核的 socket 缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程又是由 DMA 搬运的。

我们回过头看这个文件传输的过程,我们只是搬运一份数据,结果却搬运了 4 次,过多的数据拷贝无疑会消耗 CPU 资源,大大降低了系统性能。

这种简单又传统的文件传输方式,存在冗余的上文切换和数据拷贝,在高并发系统里是非常糟糕的,多了很多不必要的开销,会严重影响系统性能。

所以,要想提高文件传输的性能,就需要减少「用户态与内核态的上下文切换」和「内存拷贝」的次数。

零拷贝和非零拷贝有什么区别,零拷贝通俗理解(9)

如何优化文件传输的性能?

先来看看,如何减少「用户态与内核态的上下文切换」的次数呢?

读取磁盘数据的时候,之所以要发生上下文切换,这是因为用户空间没有权限操作磁盘或网卡,内核的权限最高,这些操作设备的过程都需要交由操作系统内核来完成,所以一般要通过内核去完成某些任务的时候,就需要使用操作系统提供的系统调用函数。

而一次系统调用必然会发生 2 次上下文切换:首先从用户态切换到内核态,当内核执行完任务后,再切换回用户态交由进程代码执行。

所以,要想减少上下文切换到次数,就要减少系统调用的次数。

再来看看,如何减少「数据拷贝」的次数?

在前面我们知道了,传统的文件传输方式会历经 4 次数据拷贝,而且这里面,「从内核的读缓冲区拷贝到用户的缓冲区里,再从用户的缓冲区里拷贝到 socket 的缓冲区里」,这个过程是没有必要的。

因为文件传输的应用场景中,在用户空间我们并不会对数据「再加工」,所以数据实际上可以不用搬运到用户空间,因此用户的缓冲区是没有必要存在的。

零拷贝和非零拷贝有什么区别,零拷贝通俗理解(10)

如何实现零拷贝?

零拷贝技术实现的方式通常有 2 种:

  • mmap write

  • sendfile

下面就谈一谈,它们是如何减少「上下文切换」和「数据拷贝」的次数。

mmap write

在前面我们知道,read系统调用的过程中会把内核缓冲区的数据拷贝到用户的缓冲区里,于是为了减少这一步开销,我们可以用 mmap 替换 read 系统调用函数。

buf = mmap(file, len);write(sockfd, buf, len);

mmap 系统调用函数会直接把内核缓冲区里的数据「映射」到用户空间,这样,操作系统内核与用户空间就不需要再进行任何的数据拷贝操作。

零拷贝和非零拷贝有什么区别,零拷贝通俗理解(11)

具体过程如下:

  • 应用进程调用了 mmap 后,DMA 会把磁盘的数据拷贝到内核的缓冲区里。接着,应用进程跟操作系统内核「共享」这个缓冲区;

  • 应用进程再调用 write,操作系统直接将内核缓冲区的数据拷贝到 socket 缓冲区中,这一切都发生在内核态,由 CPU 来搬运数据;

  • 最后,把内核的 socket 缓冲区里的数据,拷贝到网卡的缓冲区里,这个过程是由 DMA 搬运的。

我们可以得知,通过使用 mmap 来代替read, 可以减少一次数据拷贝的过程。

但这还不是最理想的零拷贝,因为仍然需要通过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里,而且仍然需要 4 次上下文切换,因为系统调用还是 2 次。

sendfile

在 Linux 内核版本 2.1 中,提供了一个专门发送文件的系统调用函数 sendfile,函数形式如下:

#include <sys/socket.h>ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

它的前两个参数分别是目的端和源端的文件描述符,后面两个参数是源端的偏移量和复制数据的长度,返回值是实际复制数据的长度。

首先,它可以替代前面的 readwrite这两个系统调用,这样就可以减少一次系统调用,也就减少了 2 次上下文切换的开销。

其次,该系统调用,可以直接把内核缓冲区里的数据拷贝到 socket 缓冲区里,不再拷贝到用户态,这样就只有 2 次上下文切换,和 3 次数据拷贝。如下图:

零拷贝和非零拷贝有什么区别,零拷贝通俗理解(12)

栏目热文

深拷贝和浅拷贝的实现原理(深拷贝浅拷贝零拷贝的区别是什么)

深拷贝和浅拷贝的实现原理(深拷贝浅拷贝零拷贝的区别是什么)

用js处理数据的时候经常遇到这样一个问题,需要保留原始数据不变情况下,进行一系列数据操作,这时候需要制作一份原始数据的副...

2022-10-24 22:36:32查看全文 >>

直接复制和浅拷贝和深拷贝的区别(深拷贝与浅拷贝示意图)

直接复制和浅拷贝和深拷贝的区别(深拷贝与浅拷贝示意图)

概述今天主要来看看Python中的浅拷贝和深拷贝内容,这里用一个实例来说明~需求:将一个列表的数据复制到另一个列表中。思...

2022-10-24 22:39:34查看全文 >>

高拷贝和低拷贝的区别(深拷贝浅拷贝零拷贝的区别是什么)

高拷贝和低拷贝的区别(深拷贝浅拷贝零拷贝的区别是什么)

一、如何判断我的质粒是高拷贝还是低拷贝质粒?高拷贝质粒每 1 ml LB 培养物应产生 3-5 ug DNA,而低拷贝质...

2022-10-24 22:41:09查看全文 >>

深拷贝和浅拷贝有哪些应用

深拷贝和浅拷贝有哪些应用

大家好我是发哥,本期说说C 深拷贝和浅拷贝。对于基本类型的数据以及简单的对象,它们之间的拷贝非常简单,就是按位复制内存...

2022-10-24 22:41:01查看全文 >>

谈谈你对浅拷贝和深拷贝的理解(零拷贝和深拷贝)

谈谈你对浅拷贝和深拷贝的理解(零拷贝和深拷贝)

先说下自己的理解吧,浅拷贝,即在定义一个类A,使用类似A obj; A obj1(obj);或者A obj1 = obj...

2022-10-24 22:24:54查看全文 >>

深拷贝和浅拷贝的相同点(深拷贝和浅拷贝举例)

深拷贝和浅拷贝的相同点(深拷贝和浅拷贝举例)

前言在阿里Java开发手册中,有这么一条建议:慎用 Object 的 clone 方法来拷贝对象。对象 clone 方法...

2022-10-24 22:29:41查看全文 >>

禾秆草泡水喝的功效(禾秆草图片)

禾秆草泡水喝的功效(禾秆草图片)

广东有三宝——陈皮、咸榄、禾秆草!不少“老广”都会有居家自备“三宝扎”的习惯:用陈皮包裹橄榄,再用禾秆草捆扎,置入粗盐罐...

2022-10-24 22:52:32查看全文 >>

禾秆草功效与禁忌(禾秆草有什么功能)

禾秆草功效与禁忌(禾秆草有什么功能)

广东三宝广东三宝是指:老姜、陈皮、禾秆草。前两样好理解,但是禾秆草,也就是稻草,怎么也能入选“三宝”呢?禾杆草为什么被广...

2022-10-24 22:53:23查看全文 >>

为什么稻草灰可以吃(稻草灰功效与作用)

为什么稻草灰可以吃(稻草灰功效与作用)

来源:上游新闻-重庆晨报俗话说:“民以食为天!”不同的地域特征和生活习性,烹制出不同的美味。稻草成灰,原本平凡无奇,但与...

2022-10-24 22:22:59查看全文 >>

禾麻草图片功效作用(野麻子治什么病)

禾麻草图片功效作用(野麻子治什么病)

2020年7月22日,贵州省毕节市威宁自治县,中药材一一禾麻草(荨麻)。[陶泽祥 摄影]禾麻草霍麻草禾麻荨麻,...

2022-10-24 22:16:20查看全文 >>

文档排行