解决Unix-like、Windows系统之间文本换行符不同的问题

发表于   |   分类于   |  

简介

\r是回车符,\n是换行符，各个系统的换行标志：

win 用 \r\n
linux/unix 用 \n
Mac OS 用 \r

CR用符号’\r’表示, 十进制ASCII代码是13, 十六进制代码为OxOD
LF使用’\n’符号表示, ASCII代码是10, 十六制为0x0A
所以：
Windows下用的是OAOD，即CR&LF，
linux/unix用的是OA，即LF
MacOS用的是OD，即CR

CRLF来历

计算机还没有出现之前，有一种叫做电传打字机（Teletype Model 33）的玩意，每秒钟可以打10个字符。但是它有一个问题，就是打完一行换行的时候，要用去0.2秒，正好可以打两个字符。要是在这0.2秒里面，又有新的字符传过来，那么这个字符将丢失。

于是，研制人员想了个办法解决这个问题，就是在每行后面加两个表示结束的字符。一个叫做“回车”，告诉打字机把打印头定位在左边界；另一个叫做“换行”，告诉打字机把纸向下移一行。这就是“换行”和“回车”的来历，从它们的英语名字上也可以看出一二。

后来，计算机发明了，这两个概念也就被般到了计算机上。那时，存储器很贵，一些科学家认为在每行结尾加两个字符太浪费了，加一个就可以。于是，就出现了分歧。Unix 系统里，每行结尾只有“<换行>”，即“\n”；Windows系统里面，每行结尾是“<回车><换行>”，即“ \r\n”；Mac系统里，每行结尾是“<回车>”。一个直接后果是，Unix/Mac系统下的文件在Windows里打开的话，所有文字会变成一行；而Windows里的文件在Unix/Mac下打开的话，在每行的结尾可能会多出一个^M符号。

Q&A

问题一：Windows下编写的纯文本文档在Linux下使用，例如Windows下编写的SH脚本，放到Linux下执行可能会出错

  • 方法一：
    不用系统记事本，自己下载一个Ultraedit或者Nodepad++文本编辑器，在Ultraedit下将该文件执行“File->conversions->Dos to Unix”，执行这个转化后的sh文件能够直接在linux下执行。这步操作能够就是将\r\n转换成\n。

  • 方法二：
    在windows下将txt文件保存为ANSI格式，然后在Linux终端输入：

    1
    cat ms.txt | col -b > linux.txt

  • 方法三：我的另一个方法
    利用cat -v test.txt可以显示test.txt中的\r（显示为^M），然后去掉^M即可。
    输入：

    1
    cat -v test.txt >te.txt

然后cat te.txt可见行尾有^M，即\r。我们把^M去掉即可：

1
vi te.txt

在vi中输入替换命令

1
:%s/\^M//g

再保存即可。

问题二：Linux下新建的文档在Windows下用记事本打开内容会挤在一起（没有了换行符）。原因是记事本不支持\n换行（它只支持\r\n形式的换行）

  • 解决方法：在Windows中使用Ultraedit或者Nodepad++文本编辑器，执行转换。

  • 另外，有两个偏方：
    1）在Windows中把txt后缀改成doc或者c，用Word或VC6.0来打开，然后复制到txt文件中。
    2）在Linux下新建文本文档的时候，不要用Vim或者Gedit，用Open Office，保存成doc格式。

  • 打开文本文件可以用：
    1）gedit xx.doc
    2）vim xx.doc（vim可能不支持繁体字，如果不涉及繁体字以及古怪的符号，就可以用vim）
    3）找到文件，直接用Open Office打开。选择字符集（系统），字符（SYSong18030）,语言（中文简体），换段落：CR&LF（或者LF）。

  • 注意：如果文件名是中文（比如vim 测试.txt），那有可能找不到，须要ls一下，然后复制文件名，然后再gedit 粘贴文件名。

  1. CR&LF，即\r\n，这是Windows下记事本的格式，Linux是完全支持的；（推荐）
  2. CR，即\r，记事本不支持，没有换行效果，也没有\r效果；Word下有换行效果，也有\r；
  3. LF，即\n，linux/unix系统下的换行符。（shell脚本就需要这个格式）

PS：
\r效果是：在每一行的末尾，默认的光标定位是下一行的行首，也就是说在行尾输入的内容实际上是下一行的行首，\r才是真正的换行，而\n是回车，原本指打字机的纸张往下移动一位，后来在Unix-like系统下，\n成为了实际上的换行符。

\r和\n的区别看下面的例子就知道了：

1
2
3
4
5
6
#include
int main()
{
    printf("938517\r10086\n");
    return 0;
}

无论是Linux系统还是Windows平台，输出均是

1
10086

因为\r已经换行了，所以938517就不再显示了。而\n并不是真正意义上的换行，它实际上是把纸张（或屏幕）向下移动一位（以便显示下一行的内容）。

问题三：Windows下编写的doc文档，在Linux下查看（用Open Office）一般都会乱码

  • 解决方法：先用Open Office打开，然后再全选，把字体设置为SYSong18030，OK中文简体和繁体都显示正常了。

问题四：在不同平台间使用FTP软件传送文件时, 在ascii文本模式传输模式下, 一些FTP客户端程序会自动对换行格式进行转换，经过这种传输的文件字节数可能会发生变化

  • 解决方法：如果你不想ftp修改原文件, 可以使用bin模式(二进制模式)传输文本。