在 Golang 中开启 cgo 时遇到的问题与思考
对纯 Go 代码，可以在 go build 时添加 GOOS 和 GOARCH 变量来指定二进制的目标系统与架构，实现交叉编译；但对开启了 CGO 的代码，如何做到交叉编译呢？错误的示范总共在项目中遇到了两类错误。环境搭建在宿主机上使用 multipass 开启 3 个不同版本的 Ubuntu 系统
对纯 Go 代码，可以在go build时添加GOOS和GOARCH变量来指定二进制的目标系统与架构，实现交叉编译；但对开启了 CGO 的代码，如何做到交叉编译呢？
错误的示范
总共在项目中遇到了两类错误。
环境搭建
在宿主机上使用 multipass 开启 3 个不同版本的 Ubuntu 系统，如下：
multipass launch --name=a release:18.04
multipass launch --name=b release:20.04
multipass launch --name=c release:22.04
# 虚拟机列表
$ multipass list
Name State IPv4 Image
a Running 172.16.73.16 Ubuntu 18.04 LTS
b Running 172.16.73.17 Ubuntu 20.04 LTS
c Running 172.16.73.18 Ubuntu 22.04 LTS
依赖安装
sudo apt update
sudo apt upgrade
sudo apt install -y make golang-go
查看当前系统 GLIBC 版本
getconf GNU_LIBC_VERSION
glibc 2.35
ldd --version
ldd (Ubuntu GLIBC 2.35-0ubuntu3) 2.35
Copyright (C) 2022 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
查看各系统的 glibc 版本
multipass exec a getconf GNU_LIBC_VERSION
multipass exec b getconf GNU_LIBC_VERSION
multipass exec c getconf GNU_LIBC_VERSION
详细如下：
| 系统版本 | glibc 版本 | |
|---|---|---|
| a | 18.04 | glibc 2.27 |
| b | 20.04 | glibc 2.31 |
| c | 22.04 | glibc 2.35 |
二进制编译时依赖的库的版本与实际运行时系统中存在的库之间的差异
在 Ubuntu 22.04 LTS 中编译的二进制，无法在 Ubuntu 18.04.6 LTS 运行（架构：amd64）。
按步骤来操作，此问题必现
在 c 机器上构建 linux amd64 架构的二进制 demo，并将 demo 分发到 a, b 两台机器上。
分别在 a, b 两台机器上执行二进制 demo。
对 demo 文件的分析
在 macOS 12 中开启 CGO 编译的二进制，无法在 macOS 11 中运行（架构：amd64）。
后续未复现
二进制编译时用的系统与运行时的系统不同
GLIBC版本不兼容问题
构建 linux 的二进制文件时，做静态打包，将 glibc 的依赖一起打包进二进制文件中。
GOOS=linux GOARCH=amd64 CGO_ENABLED=1 go build -ldflags "-extldflags '-static'" -o $(NAME)
但是遇到以下的 Warning，大致意思是虽然用了静态编译，但是还是会动态链接到进行 linker 操作时的 glibc 版本上。如果放任这个错误不管，可能会出现一些莫名其妙的问题。
/usr/bin/ld: /tmp/go-link-922118976/000010.o: in function `unixDlOpen':
/home/ubuntu/go/pkg/mod/github.com/mattn/[email protected]/sqlite3-binding.c:39881: warning: Using 'dlopen' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking
/usr/bin/ld: /tmp/go-link-922118976/000016.o: in function `_cgo_6cc2654a8ed3_C2func_getaddrinfo':
/tmp/go-build/cgo-gcc-prolog:58: warning: Using 'getaddrinfo' in statically linked applications requires at runtime the shared libraries from the glibc version used for linking
这里一种可行的方式是不使用 glibc 这种 libc，换成 musl，在 Ubuntu 上面安装：
sudo apt install -y musl musl-dev musl-tools
编译时只需要在 go build 时添加 CC=/usr/bin/musl-gcc 变量。
CC=/usr/bin/musl-gcc GOOS=linux GOARCH=amd64 CGO_ENABLED=1 go build -ldflags "-extldflags '-static'" -o $(NAME)-musl
在 c 机器上面构建完成后，分发到 a、b 机器上面，都可以正常运行，结果如下：
ubuntu@b:~$ ./demo-musl up
INFO[2022-07-20 21:54:09.228] done init db
INFO[2022-07-20 21:54:09.228] scheduler started...
INFO[2022-07-20 21:54:09.229] Connecting to wss://xxx/ncd/ws/connection
INFO[2022-07-20 21:54:09.362] Response: &{Status:101 Switching Protocols StatusCode:101 Proto:HTTP/1.1 ProtoMajor:1 ProtoMinor:1 Header:map[Connection:[upgrade] Date:[Wed, 20 Jul 2022 13:54:05 GMT] Sec-Websocket-Accept:[7PJbg/gEi9umEJ4bnOaWAciTq0k=] Server:[Nginx] Upgrade:[websocket]] Body:{Reader:0xc00042f9e0} ContentLength:0 TransferEncoding:[] Close:false Uncompressed:false Trailer:map[] Request:0xc0000ad000 TLS:<nil>}
INFO[2022-07-20 21:54:09.363] send message: [RequestId: 015e63a3-7bad-4cba-a3d6-c515e61f6e42, Command: GET_AGENT_UPDATE_INFO, Code: 0, Message: , MaxFramePayload: 0, TimeoutSeconds: 30]
ubuntu@a:~$ ./demo-musl up
INFO[2022-07-20 21:57:37.345] done init db
INFO[2022-07-20 21:57:37.345] scheduler started...
INFO[2022-07-20 21:57:37.347] Connecting to wss://xxx/ncd/ws/connection
INFO[2022-07-20 21:57:37.560] Response: &{Status:101 Switching Protocols StatusCode:101 Proto:HTTP/1.1 ProtoMajor:1 ProtoMinor:1 Header:map[Connection:[upgrade] Date:[Wed, 20 Jul 2022 13:57:34 GMT] Sec-Websocket-Accept:[NgGXU/yXwW9Hk6ecEhVICTjmKiI=] Server:[Nginx] Upgrade:[websocket]] Body:{Reader:0xc00061b1d0} ContentLength:0 TransferEncoding:[] Close:false Uncompressed:false Trailer:map[] Request:0xc0000a5100 TLS:<nil>}
INFO[2022-07-20 21:57:37.561] send message: [RequestId: eb05129e-3722-4ecd-88f5-23cb2e734df3, Command: GET_AGENT_UPDATE_INFO, Code: 0, Message: , MaxFramePayload: 0, TimeoutSeconds: 30]
如何交叉编译
在 macOS (x86) 上搭建编译 linux amd64 和 arm64 平台的环境
- 安装 musl-cross
brew install FiloSottile/musl-cross/musl-cross --with-aarch64
安装完成后，可以看到对应架构的编译器
- 编译
BUILD_FLAGS="-X $(PKG)/version.Commit=$(COMMIT)\
-X '$(PKG)/version.BuildTime=$(BUILD_TIME)'\
-X '$(PKG)/version.Version=$(VERSION)' -extldflags '-static'"
- amd64 架构
GOOS=linux GOARCH=amd64 CGO_ENABLED=1 CC="/usr/local/bin/x86_64-linux-musl-gcc" go build -ldflags $(BUILD_FLAGS) -o $(NAME)-amd64
- arm64 架构
GOOS=linux GOARCH=arm64 CGO_ENABLED=1 CC="/usr/local/bin/aarch64-linux-musl-gcc" go build -ldflags $(BUILD_FLAGS) -o $(NAME)-arm64
在 macOS (x86) 上搭建编译 windows amd64 架构的环境
brew install mingw-w64
- amd64 架构
GOOS=windows GOARCH=amd64 CGO_ENABLED=1 CC="/usr/local/bin/x86_64-w64-mingw32-gcc" go build -ldflags $(BUILD_FLAGS) -o $(NAME).exe
Reference
- Go语言涉及CGO的交叉编译(跨平台编译)解决办法 - 知乎 (zhihu.com)
- 含有CGO代码的项目如何实现跨平台编译 - SegmentFault 思否
- Statically compiled Go programs, always, even with cgo, using musl (honnef.co)
- go - 使用 cgo、LuaJIT 和 musl 构建静态二进制文件 - IT工具网 (coder.work)
- mattn/go-sqlite3: sqlite3 driver for go using database/sql (github.com)
- 《程序员的自我修养——链接、装载与库》
