由于每种语言都制定了自己的字符集，导致最后存在的各种字符集实在太多，在国际交流中要经常转换字符集非常不便。因此，产生了Unicode字符集，它固定使用16 bits（两个字节）来表示一个字符，共可以表示65536个字符
n标准的Unicode称为UTF-16(UTF:UCS Transformation Format )。后来为了双字节的Unicode能够在现存的处理单字节的系统上正确传输，出现了UTF-8，使用类似MBCS的方式对Unicode进行编码。(Unicode字符集有多种编码形式)
例如“连通”两个字的Unicode标准编码UTF-16 (big endian）为：DE 8F 1A 90
而其UTF-8编码为：E8 BF 9E E9 80 9A
当一个软件打开一个文本时，它要做的第一件事是决定这个文本究竟是使用哪种字符集的哪种编码保存的。软件一般采用三种方式来决定文本的字符集和编码：
检测文件头标识，提示用户选择，根据一定的规则猜测
最标准的途径是检测文本最开头的几个字节，开头字节 Charset/encoding,如下表：
EF BB BF UTF-8
FE FF UTF-16/UCS-2, little endian
FF FE UTF-16/UCS-2, big endian
FF FE 00 00 UTF-32/UCS-4, little endian.
00 00 FE FF UTF-32/UCS-4, big-endian.
分享到：
相关推荐
php 字符编码转换类，支持ANSI、Unicode、Unicode big endian、UTF-8、UTF-8+Bom 互相转换。
ANSI --> Unicode ANSI --> Unicode big endian...UTF-8 --> Unicode big endian ansi转别的，不检验BOM，一律作为ansi编码进行转换 unicode转别的，首先检验BOM，不合格不转换 utf8转别的，首先检验BOM，不合格不转换
读取ANSI 明码文件 读取Unicode 明码文件 读取Unicode big endian 明码文件 读取UTF-8 明码文件 读取UTF8 Bom 明码文件 读取UTF16-LE 明码文件 读取UTF16-BE 明码文件 到多字节字符串 扩展类CFilePlainCode
Txt文件编码批量转换器用于批量转换txt文本文档的编码格式。通常，我们电脑里的txt文件都是ASNI编码，当放到手机或MP3里时，打开看到的往往...目前，它支持ASNI、UTF-8、Unicode和Unicode big endian等编码的相互转换。
(包括ANSI、UNICODE、UNICODE big endian、UTF-8)格式的文本文件 */ //核心算法：CStdioFileEx继承自CStdioFile， 覆盖CStdioFile的 BOOL ReadString(CString& rString)方法, // 根据不同文件编码特征，寻找文件...
文本字符串编码在 Text、ANSI、Unicode、Unicode Big Endian、UTF-8、 UTF-7 之间的互相转换，转换结果使用十六进制表示。
VC ANSI环境下按行读取ANSI、UNICODE 、UNICODE big endian、UTF-8四种文本文件.docx
文本文件编码转换：ANSI、Unicode、UTF-8三种存储编码相互转换。...Unicode作为源文件同时支持Big endian，作为目标文件不支持Big endian。 UTF-8不支持无BOM的文件。 希望能对新手有帮助，也大家多提宝贵意见。
文本的字符串转换工具 ...功能：本软件用于将文本的字符串转换为 Text、ASCII、Default、Unicode、BigEndianUnicode、UTF-8、UTF-7、GBK、BIG5 之间的互相转换，用于文本查询。转换结果使用十六进制表示。
所谓BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序（Big/Little Endian），除此以外还可以标识编码（UTF-8/16/32），如果出现在文本中间，则解释为zero width no-break ...
文本字符串编码在 Text、ANSI、Unicode、Unicode Big Endian、UTF-8、 UTF-7 之间的互相转换，转换结果使用十六进制表示。 ******* STR ***************** * 运行环境 * 本软件在 Windows 98、Windows 2000...
GBK,BIG5,UTF-16BE(Unicode big-endian字节顺序),UTF-16LE(Unicode little-endian字节顺序),UTF-8 默认输入编码方式为GBK,默认输出编码方式为UTF-16BE; 该类别提供两个函数用来修改输入和输出编码方式： 修改...
识别文本文件的编码格式。 有时我们在处理文本文件时，对其编码要求有一定要求，但一般情况下并不知道此文件的编码格式，就如同一个 MXL文件，它的标识为： ...Unicode、Unicode big endian、utf-8、US-ASCII
you would need to either manually encode them to UTF-8, or insert individual octets in the correct big-endian/little-endian order (for UTF-16 or UTF-32). Unless you are using an operating system in...
从国外网站下载的文件类，支持ASCII, UTF-8, Unicode 16 little/big endian四种格式。
中文簡繁內碼轉換器 - ConvertZ，簡單易用而且功能強大的中文內碼轉...Unicode Big Endian、及 UTF-8 編碼，讓您輕鬆的對純文字檔案、檔案/資料夾名稱、剪貼簿文字、及 MP3 ID3 標籤在上述編碼之間進行轉換。 密碼:azo
2013年新年过后，作者重写了 VCF Encoding 的源代码，使其全面支持 VCard 2.1、3.0 标准，解决了 Unicode、UTF-8、UTF-7、ANSI、Big-endian Unicode 编码问题，支持对嵌入图片和声音资源的解析，支持对 VCF 名片的...
UTF_16BE("UTF-16BE","16 位 UCS 转换格式，Big Endian（最低地址存放高位字节）字节顺序"), UTF_16LE("UTF_16LE","16 位 UCS 转换格式，Big Endian（最低地址存放高位字节）字节顺序"), UTF_16("UTF_16","16 位 ...
批量转换txt的编码。 支持ANSI Unicode Unicode big endian UTF-8 免费