2023-06-12发表2023-06-12更新工具8 分钟读完 (大约1255个字)0次访问

换行符问题

问题

Linux 环境执行一些脚本出错，查找原因，发现是文件在Windows环境修改并上传，格式被转换为MS-Dos格式（换行符不同），这样的文件在Linux中运行会出错（shell 解释器把换行符作为一个命令的提交）。

背景

很久以前，老式的电传打字机使用两个字符来另起新行。回车符(CR，carriage return)把滑动架移回行首，换行符(LF，newline)把纸上移一行。

当计算机问世以后，存储器曾经非常昂贵。有些人就认定没必要用两个字符来表示行尾。
UNIX 用一个字符来表示行尾。
Apple 的MacOS 9 及以前用 <CR> ，MacOS 10跟Unix一样。
MS-DOS (以及Windows) 沿用老式的<CR><LF>，即敲一下回车键，相当于同时执行了 “回车+换行“。
总结一下：

系统	中文描述	英文描述	简写	转义符	十六进制
Windows	回车换行	Carriage Return and Line Feed	CRLF	`\\r\\n`	0x0d0a (1310)
Unix/Linux/Mac OS	换行	Line Feed	LF	`\\n`	0x0a (10)

如果你把一个文件从一种系统移到另一种系统，那么你就有换行符方面的麻烦。
Windows10的记事本（notepad）能够自动识别Linux文件，但是在Linux中查看MS-DOS格式文件会发现每一行的末尾有个 ^M 字符。(^M 就是 <CR>，即回车符)。

单个文件解决办法

Linux 环境下 vim 直接编辑修改文件。

1	:set fileformat=unix

或者

1	:set ff=unix

保存退出就解决了。

批量文件解决方案一

这是通用方案，核心逻辑是

找出文件：用file命令查看文件是否有特殊换行符
修改文件：dos2unix命令直接改。（也可以vi 文件修改，后面在举例）

具体例子

1. 检查文件

1 2	$ file ./test.yml ./test.yml: ASCII text, with CRLF line terminators

输出中看到了CRLF，这是Dos文件格式的标志。

2. 下一步，文件格式转换

1 2	$ dos2unix ./test.yml dos2unix: converting file ./test.yml to Unix format ...

3. 检查文件是否真的修改了格式

1 2	$ file ./test.yml ./test.yml: ASCII text

发现没有CRLF 标志，修改完成。

4. 把上面的命令合并，查找并修改Dos格式文件

$ find . -type f -exec file {} \; | grep CRLF | awk -F: '{print $1}' | xargs dos2unix 
dos2unix: converting file ./ansible/README.md to Unix format ... 
... 
or
$ find . -type f -exec file {} \; | grep CRLF | cut -d : -f 1 | xargs dos2unix

批量文件解决方案二

从 7.1 版本后，dos2unix 有-i,–info参数，能够直接获取文件换行符的信息，我们能直接用这个命令来查找和替换。-ic参数表示只是打印需要转换的文件。
（MacOS 通过brew 可以安装 dos2unix version 7.4，而centos 7 和 ubuntu 16 默认只能安装版本6.0，更高版本需要自己单独下载安装包。）

$ dos2unix -i ./roy_test.yml 
      11       0       0  no_bom    text    ./roy_test.yml 
$ dos2unix -ic ./roy_test.yml 
./roy_test.yml

上面的输出数字 11 表示有11个dos换行符。
查找并修改dos文件：

1
2
3

$ find . -type f -exec dos2unix -ic {} \; | xargs dos2unix 
dos2unix: converting file ./bin/Readme.txt to Unix format... 
...

如果文件数量大，用xargs 替换 exec 更有效率，所以更好的命令是

1	$ find . -type f \| xargs dos2unix -ic \| xargs dos2unix

Windows开发中避免换行问题

使用编辑器Visual Studio Code

这个工具的右下角的文件格式确保是LF。如果不是，就点击重新选择。

git bash 中设置默认检入检出换行符为linux（\n）风格

（为了团队更好的协作）

开启自动换行

git config --global core.autocrlf true 
git config --global core.autocrlf true 签出时将换行符转换成CRLF，签入时转换回 LF 
git config --global core.autocrlf input 签出时不转换换行符，签入时转换回 LF 
git config --global core.autocrlf false 签出签入均不转换

开启安全换行

1	git config --global core.safecrlf true

解释：
如果你把换行符搞乱了，在一个文件中既包含windows风格的换行符也包含unix风格换行符，那么 safecrlf 就可以发挥作用了：

1
2
3

git config --global core.safecrlf true 拒绝提交包含混合换行符的文件 
git config --global core.safecrlf false 允许提交包含混合换行符的文件 
git config --global core.safecrlf warn 提交包含混合换行符的文件时候给出警示