行业资讯

Go defer 原理和源码剖析是怎样的

发布时间：2021-11-15 09:15:18 作者：柒染
来源：亿速云 阅读：115

本篇文章为大家展示了Go defer 原理和源码剖析是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

Go 语言中有一个非常有用的保留字 defer，它可以调用一个函数，该函数的执行被推迟到包裹它的函数返回时执行。

defer 语句调用的函数，要么是因为包裹它的函数执行了 return 语句，到达了函数体的末端，要么是因为对应的 goroutine 发生了 panic。

在实际的 go 语言程序中，defer 语句可以代替其它语言中 try…catch… 的作用，也可以用来处理释放资源等收尾操作，比如关闭文件句柄、关闭数据库连接等。

1. 编译器编译 defer 过程

defer dosomething(x)

简单来说，执行 defer 语句，实际上是注册了一个稍后执行的函数，确定了函数名和参数，但不会立即调用，而是把调用过程推迟到当前函数 return 或者发生 panic 的时候。

我们先了解一下 defer 相关的数据结构。

1) struct _defer 数据结构

go 语言程序中每一次调用 defer 都生成一个 _defer 结构体。

type _defer struct {
    siz     int32 // 参数和返回值的内存大小
    started boul
    heap    boul    // 区分该结构是在栈上分配的，还是对上分配的
    sp        uintptr  // sp 计数器值，栈指针；
    pc        uintptr  // pc 计数器值，程序计数器；
    fn        *funcval // defer 传入的函数地址，也就是延后执行的函数;
    _panic    *_panic  // panic that is running defer
    link      *_defer   // 链表
}

我们默认使用了 go 1.13 版本的源代码，其它版本类似。

一个函数内可以有多个 defer 调用，所以自然需要一个数据结构来组织这些 _defer 结构体。_defer 按照对齐规则占用 48 字节的内存。在 _defer 结构体中的 link 字段，这个字段把所有的 _defer 串成一个链表，表头是挂在 Goroutine 的 _defer 字段。

_defer 的链式结构如下：

Go defer 原理和源码剖析是怎样的

_defer.siz 用于指定延迟函数的参数和返回值的空间，大小由 _defer.siz 指定，这块内存的值在 defer 关键字执行的时候填充好。

defer 延迟函数的参数是预计算的，在栈上分配空间。每一个 defer 调用在栈上分配的内存布局如下图所示：

Go defer 原理和源码剖析是怎样的

其中 _defer 是一个指针，指向一个 struct _defer 对象，它可能分配在栈上，也可能分配在堆上。

2) struct _defer 内存分配

以下是一个使用 defer 的范例，文件名为 test_defer.go：

package main

func doDeferFunc(x int) {
    println(x)
}

func doSomething() int {
    var x = 1
    defer doDeferFunc(x)
    x += 2
    return x
}

func main() {
    x := doSomething()
    println(x)
}

编译以上代码，加上去除优化和内链选项：

go tool compile -N -l test_defer.go

导出汇编代码：

go tool objdump test_defer.o

我们看下编译成的二进制代码：

Go defer 原理和源码剖析是怎样的

从汇编指令我们看到，编译器在遇到 defer 关键字的时候，添加了一些运行库函数：deferprocStack和deferreturn。

go 1.13 正式版本的发布提升了 defer 的性能，号称针对 defer 场景提升了 30% 的性能。

go 1.13 之前的版本 defer 语句会被编译器翻译成两个过程：回调注册函数过程：deferproc和deferreturn

。

go 1.13 带来的 deferprocStack 函数，这个函数就是这个 30% 性能提升的核心手段。deferprocStack 和 deferproc 的目的都是注册回调函数，但是不同的是 deferprocStatck 是在栈内存上分配 struct _defer 结构，而 deferproc 这个是需要去堆上分配结构内存的。而我们绝大部分的场景都是可以是在栈上分配的，所以自然整体性能就提升了。栈上分配内存自然是比对上要快太多了，只需要改变 rsp 寄存器的值就可以进行分配。

那么什么时候分配在栈上，什么时候分配在堆上呢？

在编译器相关的文件（src/cmd/compile/internal/gc/ssa.go ）里，有个条件判断：

func (s *state) stmt(n *Node) {
 
    case ODEFER:
        d := callDefer
        if n.Esc == EscNever {
            d = callDeferStack
        }
}

n.Esc 是 ast.Node 的逃逸分析的结果，那么什么时候 n.Esc 会被置成 EscNever 呢？

这个在逃逸分析的函数 esc 里（src/cmd/compile/internal/gc/esc.go ）：

func (e *EscState) esc(n *Node, parent *Node) {

    case ODEFER:
        if e.loopdepth == 1 { // top level
            n.Esc = EscNever // force stack allocation of defer record (see ssa.go)
            break
        }
}

这里 e.loopdepth 等于 1的时候，才会设置成 EscNever ，e.loopdepth 字段是用于检测嵌套循环作用域的，换句话说，defer 如果在嵌套作用域的上下文中，那么就可能导致 struct _defer 分配在堆上，如下：

package main

func main() {
    for i := 0; i < 10; i++ {
        defer func() {
            _ = i
        }()
    }
}

编译器生成的则是 deferproc ：

Go defer 原理和源码剖析是怎样的

当 defer 外层出现显式（for）或者隐式（goto）的时候，将会导致 struct _defer 结构体分配在堆上，性能就会变差，这个编程的时候要注意。

编译器就能决定 _defer 结构体分配在栈上还是堆上，对应函数分别是 deferprocStatck 和 deferproc 函数，这两个函数都很简单，目的一致：分配出 struct _defer 的内存结构，把回调函数初始化进去，挂到链表中。

3) deferprocStack 栈上分配

deferprocStack 函数做了哪些事情呢？

// 进入这个函数之前，就已经在栈上分配好了内存结构
func deferprocStack(d *_defer) {
    gp := getg()

    // siz 和 fn 在进入这个函数之前已经赋值
    d.started = false
    // 表明是栈的内存
    d.heap = false
    // 获取到 caller 函数的 rsp 寄存器值，并赋值到 _defer 结构 sp 字段中
    d.sp = getcallersp()
    // 获取到 caller 函数的 rip 寄存器值，并赋值到 _defer 结构 pc 字段中
    // 根据函数调用的原理，我们就知道 caller 的压栈的 pc (rip) 值就是 deferprocStack 的下一条指令
    d.pc = getcallerpc()

    // 把这个 _defer 结构作为一个节点，挂到 goroutine 的链表中
    *(*uintptr)(unsafe.Pointer(&d._panic)) = 0
    *(*uintptr)(unsafe.Pointer(&d.link)) = uintptr(unsafe.Pointer(gp._defer))
    *(*uintptr)(unsafe.Pointer(&gp._defer)) = uintptr(unsafe.Pointer(d))
    // 注意，特殊的返回，不会触发延迟调用的函数
    return0()
}

小结：

堆上分配的函数为 deferproc ，简化逻辑如下：

func deferproc(siz int32, fn *funcval) {
  // arguments of fn fullow fn
    // 获取 caller 函数的 rsp 寄存器值
    sp := getcallersp()
    argp := uintptr(unsafe.Pointer(&fn)) + unsafe.Sizeof(fn)
    // 获取 caller 函数的 pc（rip） 寄存器值
    callerpc := getcallerpc()

    // 分配 struct _defer 内存结构
    d := newdefer(siz)
    if d._panic != nil {
        throw("deferproc: d.panic != nil after newdefer")
    }
    // _defer 结构体初始化
    d.fn = fn
    d.pc = callerpc
    d.sp = sp
    switch siz {
    case 0:
        // Do nothing.
    case sys.PtrSize:
        *(*uintptr)(deferArgs(d)) = *(*uintptr)(unsafe.Pointer(argp))
    default:
        memmove(deferArgs(d), unsafe.Pointer(argp), uintptr(siz))
    }
    // 注意，特殊的返回，不会触发延迟调用的函数
    return0()
}

小结：

5) 执行 defer 函数链

编译器遇到 defer 语句，会插入两个函数：

包裹 defer 语句的函数退出的时候，由 deferreturn 负责执行所有的延迟调用链。

func deferreturn(arg0 uintptr) {
    gp := getg()
    // 获取到最前的 _defer 节点
    d := gp._defer
    // 函数递归终止条件（d 链表遍历完成）
    if d == nil {
        return
    }
    // 获取 caller 函数的 rsp 寄存器值
    sp := getcallersp()
    if d.sp != sp {
        // 如果 _defer.sp 和 caller 的 sp 值不一致，那么直接返回；
        // 因为，就说明这个 _defer 结构不是在该 caller 函数注册的  
        return
    }

    switch d.siz {
    case 0:
        // Do nothing.
    case sys.PtrSize:
        *(*uintptr)(unsafe.Pointer(&arg0)) = *(*uintptr)(deferArgs(d))
    default:
        memmove(unsafe.Pointer(&arg0), deferArgs(d), uintptr(d.siz))
    }
    // 获取到延迟回调函数地址
    fn := d.fn
    d.fn = nil
    // 把当前 _defer 节点从链表中摘除
    gp._defer = d.link
    // 释放 _defer 内存（主要是堆上才会需要处理，栈上的随着函数执行完，栈收缩就回收了）
    freedefer(d)
    // 执行延迟回调函数
    jmpdefer(fn, uintptr(unsafe.Pointer(&arg0)))
}

代码说明：

例如，a() -> b() -> c() ，a 调用 b，b 调用 c ，而 a，b，c 三个函数都有 defer 注册延迟函数，那么自然是 c()函数返回的时候，执行 c 的回调；

2. defer 传递参数

1) 预计算参数

在前面描述 _defer 数据结构的时候说到内存结构如下：

Go defer 原理和源码剖析是怎样的

_defer 在栈上作为一个 header，延迟回调函数（ defer ）的参数和返回值紧接着 _defer 放置，而这个参数值是在 defer 执行的时候就设置好了，也就是预计算参数，而非等到执行 defer 函数的时候才去获取。

举个例子，执行 defer func(x, y) 的时候，x，y 这两个实参是计算的出来的，Go 中的函数调用都是值传递。那么就会把 x，y 的值拷贝到 _defer 结构体之后。再看个例子：

package main

func main() {
    var x = 1
    defer println(x)
    x += 2
    return
}

这个程序输出是什么呢？是 1 ，还是 3 ？答案是：1 。defer 执行的函数是 println ，println 参数是 x ，x 的值传进去的值则是在 defer 语句执行的时候就确认了的。

2) defer 的参数准备

defer 延迟函数执行的参数已经保存在和 _defer 一起的连续内存块了。那么执行 defer 函数的时候，参数是哪里来呢？当然不是直接去 _defer 的地址找。因为这里是走的标准的函数调用。

在 Go 语言中，一个函数的参数由 caller 函数准备好，比如说，一个 main() -> A(7) -> B(a) 形成类似以下的栈帧：

Go defer 原理和源码剖析是怎样的

所以，deferreturn 除了跳转到 defer 函数指令，还需要做一个事情：把 defer 延迟回调函数需要的参数准备好（空间和值）。那么就是如下代码来做的视线：

func deferreturn(arg0 uintptr) {

    switch d.siz {
    case 0:
        // Do nothing.
    case sys.PtrSize:
        *(*uintptr)(unsafe.Pointer(&arg0)) = *(*uintptr)(deferArgs(d))
    default:
        memmove(unsafe.Pointer(&arg0), deferArgs(d), uintptr(d.siz))
    }

}

arg0 就是 caller 用来放置 defer 参数和返回值的栈地址。这段代码的意思就是，把 _defer 预先的准备好的参数，copy 到 caller 栈帧的某个地址（arg0）。

3. 执行多条 defer

前面已经详细说明了，_defer 是一个链表，表头是 goroutine._defer 结构。一个协程的函数注册的是挂同一个链表，执行的时候按照 rsp 来区分函数。并且，这个链表是把新元素插在表头，而执行的时候是从前往后执行，所以这里导致了一个 LIFO 的特性，也就是先注册的 defer 函数后执行。

Go defer 原理和源码剖析是怎样的

4. defer 和 return 运行顺序

包含 defer 语句的函数返回时，先设置返回值还是先执行 defer 函数？

1) 函数的调用过程

要理解这个过程，首先要知道函数调用的过程：

最重要的一点：Go 的 return 的语句调用是个复合操作，可以对应一下两个操作序列：

2) return 之后是先返回值还是先执行 defer 函数？

Golang 官方文档有明确说明：

That is, if the surrounding function returns through an explicit return statement, deferred functions are executedafter any result parameters are set by that return statementbutbefore the function returns to its caller.

也就是说，defer 的函数链调用是在设置了返回值之后，但是在运行指令上下文返回到 caller 函数之前。

所以含有 defer 注册的函数，执行 return 语句之后，对应执行三个操作序列：

那么，根据这个原理我们来解析如下的行为：

func f1 () (r int) {
    t := 1
    defer func() {
        t = t + 5
    }()
    return t
}

func f2() (r int) {
    defer func(r int) {
        r = r + 5
    }(r)
    return 1
}

func f3() (r int) {
    defer func () {
        r = r + 5
    } ()
    return 1
}

这三个函数的返回值分别是多少？

答案：f1() -> 1，f2() -> 1，f3() -> 6 。

a) 函数 f1 执行 return t 语句之后：

所以，f1() 的返回值是 1 ；

b) 函数 f2 执行 return 1 语句之后：

所以，f2() 的返回值还是 1 ；

c) 函数 f3 执行 return 1 语句之后：

所以，f1() 的返回值是 6 。

新元素插入在最前面，遍历执行的时候则是从前往后执行。所以 defer 注册函数具有 LIFO 的特性，也就是后注册的先执行；

不同的函数都在这个链表上，以 _defer.sp 区分；

defer 的参数是预计算的，也就是在 defer 关键字执行的时候，参数就确认，赋值在 _defer 的内存块后面。执行的时候，copy 到栈帧对应的位置上；

return 对应 3 个动作的复合操作：设置返回值、执行 defer 函数链表、ret 指令跳转。

上述内容就是Go defer 原理和源码剖析是怎样的，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。

推荐阅读：
  1. 用Go语言异常机制模拟TryCatch异常捕捉
  2. Go语言defer语句的三种机制整理

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。

go defer

上一篇：Python定时库Apscheduler怎么用

下一篇：Python连接Cassandra容器进行查询的问题有哪些

相关阅读

您好，登录后才能下订单哦！

密码登录
登录注册
获取短信验证码
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》
产品服务
地区划分
帮助支持
关于我们
行业资讯-文章归档 问答-问答归档
广州亿速云计算有限公司

7*24小时在线电话：400-100-2938

7*24小时在线QQ：800811969

Copyright © Yisu Cloud Ltd. All Rights Reserved. 2018 版权所有
粤ICP备17096448号-1 粤公网安备 44010402001142号