详解mysql中的字符集和校验规则

OStack程序员社区-中国程序员成长平台 › 门户 › 编程›数据库

原作者: [db:作者] 来自: [db:来源] 收藏邀请

1几种常见字符集

在MySQL中，最常见的字符集有ASCII字符集、latin字符集、GB2312字符集、GBK字符集、UTF8字符集等，下面我们简单介绍下这些字符集：

ASCII字符集

这个字符集使用1个字节进行编码，一个字节具有8位，总共可以保存128个字符，具体的对应关系如下：

latin字符集

latin字符集一共可以保存256个字符，相比ASCII码，它又包含了128个西欧常用字符。

GB2312字符集

它包含了中文汉字、拉丁字符、希腊字符等，其中汉字占了大多数，有6763个，其他文字符号638个，而且它兼容ASCII字符。当对ASCII编码的时候，它采用1个字节进行编码，也就是128位，当对其他字符进行编码的时候，它采用2个字节进行编码。可以理解它是一种边长编码方式。

GBK字符集

该字符集是对GB2312字符集的一个扩充，它兼容GB2312字符集，一般采用两个字节进行编码。

UTF8字符集

它通常由1~4个字节来进行编码，根据使用字节的不同，也可以分为UTF8和utf8mb4两种，mb4的意思就是最多4个字节的意思，一般来讲UTF8采用三个字节进行编码，除此之外，还有utf16以及utf32，utf16使用2个或4个字节编码一个字符，utf32使用4个字节编码一个字符。

需要注意的是，一些emoji表情需要使用utf8mb4来表示。

2 mysql中支持的字符集

MySQL支持很多字符集，以我本地的字符集为例，使用show charset；命令查看当前服务器支持的字符集，结果如下：

[email protected]:(none) 22:46:48>>show charset;
+----------+-----------------------------+---------------------+--------+
| Charset | Description         | Default collation  | Maxlen |
+----------+-----------------------------+---------------------+--------+
| big5   | Big5 Traditional Chinese  | big5_chinese_ci   |   2 |
| dec8   | DEC West European      | dec8_swedish_ci   |   1 |
| cp850  | DOS West European      | cp850_general_ci  |   1 |
| hp8   | HP West European      | hp8_english_ci   |   1 |
| koi8r  | KOI8-R Relcom Russian    | koi8r_general_ci  |   1 |
| latin1  | cp1252 West European    | latin1_swedish_ci  |   1 |
| latin2  | ISO 8859-2 Central European | latin2_general_ci  |   1 |
| swe7   | 7bit Swedish        | swe7_swedish_ci   |   1 |
| ascii  | US ASCII          | ascii_general_ci  |   1 |
| ujis   | EUC-JP Japanese       | ujis_japanese_ci  |   3 |
| sjis   | Shift-JIS Japanese     | sjis_japanese_ci  |   2 |
| hebrew  | ISO 8859-8 Hebrew      | hebrew_general_ci  |   1 |
| tis620  | TIS620 Thai         | tis620_thai_ci   |   1 |
| euckr  | EUC-KR Korean        | euckr_korean_ci   |   2 |
| koi8u  | KOI8-U Ukrainian      | koi8u_general_ci  |   1 |
| gb2312  | GB2312 Simplified Chinese  | gb2312_chinese_ci  |   2 |
| greek  | ISO 8859-7 Greek      | greek_general_ci  |   1 |
| cp1250  | Windows Central European  | cp1250_general_ci  |   1 |
| gbk   | GBK Simplified Chinese   | gbk_chinese_ci   |   2 |
| latin5  | ISO 8859-9 Turkish     | latin5_turkish_ci  |   1 |
| armscii8 | ARMSCII-8 Armenian     | armscii8_general_ci |   1 |
| utf8   | UTF-8 Unicode        | utf8_general_ci   |   3 |
| ucs2   | UCS-2 Unicode        | ucs2_general_ci   |   2 |
| cp866  | DOS Russian         | cp866_general_ci  |   1 |
| keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci |   1 |
| macce  | Mac Central European    | macce_general_ci  |   1 |
| macroman | Mac West European      | macroman_general_ci |   1 |
| cp852  | DOS Central European    | cp852_general_ci  |   1 |
| latin7  | ISO 8859-13 Baltic     | latin7_general_ci  |   1 |
| utf8mb4 | UTF-8 Unicode        | utf8mb4_general_ci |   4 |
| cp1251  | Windows Cyrillic      | cp1251_general_ci  |   1 |
| utf16  | UTF-16 Unicode       | utf16_general_ci  |   4 |
| cp1256  | Windows Arabic       | cp1256_general_ci  |   1 |
| cp1257  | Windows Baltic       | cp1257_general_ci  |   1 |
| utf32  | UTF-32 Unicode       | utf32_general_ci  |   4 |
| binary  | Binary pseudo charset    | binary       |   1 |
| geostd8 | GEOSTD8 Georgian      | geostd8_general_ci |   1 |
| cp932  | SJIS for Windows Japanese  | cp932_japanese_ci  |   2 |
| eucjpms | UJIS for Windows Japanese  | eucjpms_japanese_ci |   3 |
+----------+-----------------------------+---------------------+--------+
39 rows in set (0.00 sec)

可以看到，一共支持39中字符集，当然，不同的版本这个数字还有一些出入。在这39中字符集里面，需要我们记住的主要有以下几个：

+----------+-----------------------------+---------------------+--------+
| Charset | Description         | Default collation  | Maxlen |
+----------+-----------------------------+---------------------+--------+
| latin1  | cp1252 West European    | latin1_swedish_ci  |   1 |
| ascii  | US ASCII          | ascii_general_ci  |   1 |
| gb2312  | GB2312 Simplified Chinese  | gb2312_chinese_ci  |   2 |
| gbk   | GBK Simplified Chinese   | gbk_chinese_ci   |   2 |
| utf8   | UTF-8 Unicode        | utf8_general_ci   |   3 |
| utf8mb4 | UTF-8 Unicode        | utf8mb4_general_ci |   4 |
+----------+-----------------------------+---------------------+--------+

这里，我们暂时只需要知道他们最大长度包含几个字节就ok了。

3 校验规则

字符集的校验规则，指的是字符集比较大小的时候依据的准则，比如我们比较a和B的大小，如果不考虑大小写，那么a<B，如果考虑大小写，则a>B,也就是说，同一字符集，不同的比较规则，对某列数据的排序结果也就会产生不同。

MySQL中的字符校验规则可以通过show collation；语法来查看，如下：

[email protected]:(none) 23:00:36>>show collation;
+-----------------------+----------+-----+---------+----------+---------+
| Collation       | Charset | Id | Default | Compiled | Sortlen |
+-----------------------+----------+-----+---------+----------+---------+
| big5_chinese_ci    | big5   |  1 | Yes   | Yes   |    1 |
| big5_bin       | big5   | 84 |     | Yes   |    1 |
| dec8_swedish_ci    | dec8   |  3 | Yes   | Yes   |    1 |
| dec8_bin       | dec8   | 69 |     | Yes   |    1 |
...........
| koi8r_general_ci   | koi8r  |  7 | Yes   | Yes   |    1 |
| koi8r_bin       | koi8r  | 74 |     | Yes   |    1 |
| latin1_german1_ci   | latin1  |  5 |     | Yes   |    1 |
| koi8u_general_ci   | koi8u  | 22 | Yes   | Yes   |    1 |
| utf8_general_ci    | utf8   | 33 | Yes   | Yes   |    1 |
| utf8_bin       | utf8   | 83 |     | Yes   |    1 |
| utf8_unicode_ci    | utf8   | 192 |     | Yes   |    8 |
| utf8_icelandic_ci   | utf8   | 193 |     | Yes   |    8 |
| utf8_latvian_ci    | utf8   | 194 |     | Yes   |    8 |
| utf8_romanian_ci   | utf8   | 195 |     | Yes   |    8 |
| utf8_slovenian_ci   | utf8   | 196 |     | Yes   |    8 |
| utf8_polish_ci    | utf8   | 197 |     | Yes   |    8 |
| utf8_estonian_ci   | utf8   | 198 |     | Yes   |    8 |
+-----------------------+----------+-----+---------+----------+---------+
195 rows in set (0.00 sec)

我们可以看到，结果中一共有195中比较规则，其中，每种字符集都包含自己默认的校验规则，我们简单解释一条：utf8_polish_ci以波兰语为规则进行对比，这个校验规则由三个部分组成，比较规则名称以与其关联的字符集的名称开头，utf8是指的是utf8字符集的比较规则，polish指的是波兰语，_ci指的是不区分大小写。

针对最后面的后缀，我们可以总结如下：

_ai 不区分重音

_as 区分重音

_ci case insensitive(不敏感) 不区分大小写

_cs case sensitive(敏感) 区分大小写

_bin 二进制

上面的结果中，我们还可以看到，一些校验规则的default列的值是yes，就代表这个校验规则是该字符集的默认校验规则。

4 服务器上的字符集和比较规则

mysql提供了两个系统变量来表示服务器级别的字符集和比较规则，一个是character_set_sever，另外一个是collation_server，我们可以查看它们的默认值：

[email protected]:(none) 23:12:28>>show variables like 'character_set_server' ;
+----------------------+-------+
| Variable_name    | Value |
+----------------------+-------+
| character_set_server | utf8 |
+----------------------+-------+
1 row in set (0.00 sec)

[email protected]:(none) 23:12:47>>show variables like 'collation_server';
+------------------+-----------------+
| Variable_name  | Value      |
+------------------+-----------------+
| collation_server | utf8_general_ci |
+------------------+-----------------+
1 row in set (0.00 sec)

[email protected]:(none) 23:12:57>>

在mysql中，字符集和校验规则分为4个级别，分别是服务器级别、数据库级别、表级别以及字段级别，这里我们分别举例子来看：

数据库级别
mysql 23:23:48>>create database yyz character set utf8 collate utf8_general_ci ;
Query OK, 1 row affected (0.01 sec)

表级别
mysql 23:24:23>>create table yyz.yyz ( name varchar(10) ) charset gb2312 collate gb2312_chinese_ci;
Query OK, 0 rows affected (0.04 sec)

字段级别
mysql 23:27:06>>
[email protected]:(none) 23:27:06>>alter table yyz.yyz add num varchar(10) charset gbk collate gbk_chinese_ci;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0

查看结果
mysql 23:28:27>>show create table yyz.yyz;
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table                                                                   |
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
| yyz  | CREATE TABLE `yyz` (
 `name` varchar(10) DEFAULT NULL,
 `num` varchar(10) CHARACTER SET gbk DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gb2312 |
+-------+---------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

由于字符集和比较规则是互相有联系的，如果我们只修改了字符集，比较规则也会跟着变化，如果只修改了比较规则，字符集也会跟着变化，具体规则如下：

只修改字符集，则比较规则将变为修改后的字符集默认的比较规则。
只修改比较规则，则字符集将变为修改后的比较规则对应的字符集。

还有下面4条需要记住：