你了解java中的几种编码方式?解决乱码问题可能并不麻烦

前言

编码的转换通常在IO机制中使用,一个好的编码可以为我们节省很多空间,在某种程度上提高我们应用的效率。由于之前就知道String中的转换方式,还有一些工具类,因此今天就好好的整理一下java中jdk提供的几种转换方式,希望对你有帮助。

一、编码转换原理

1、为什么需要编码

我们知道计算机存储信息的最小单位是一个字节8位,能够表示256个字符。这对于早起的英文来说足够了。即使是加上一些常见符号也足够。于是在1965年美国制定了ASCII编码,主要用于英语和西欧语言,一开始128个,后来加到了256。

后来随着时间的发展,中国、日本等国的计算机也开始蓬勃发展,于是计算机不仅仅要存储英文了,也开始存储中文。但是中文我们都知道几万个太多了,一个字节肯定放不下。怎么办呢?一个字节表示不下,那就多用几个字节就好了。这样不仅可以表示汉字,还可以避免了与ASCII编码的冲突。这几个字节在存储的时候再转化为bit,完美!划重点哈,编码解决的就是字节和字符之间的转化问题。

2、编码方式

既然是编码,那些大佬早就考虑到了这些问题,并提拱了多种编码方式,常见的有 ASCII、ISO-8859-1、GB2312、GBK、UTF-8、UTF-16 等。它们规定了转化的规则,按照这个规则就可以让计算机正确的表示我们的字符。

像GB2312、GBK、UTF-8、UTF-16等很多种方式都可以表示汉字,他们有什么区别呢?

(1)GB2312

它是双字节编码,总的编码范围是 A1-F7,其中从 A1-A9 是符号区,总共包含 682 个符号,从 B0-F7 是汉字区,包含 6763 个汉字。这个是中国1981年搞出来的。这种编码是一个汉字两个字节。

(2)GBK

它的编码范围是 8140~FEFE(去掉 XX7F)总共有 23940 个码位,它能表示 21003 个汉字。这个是中国在1995年搞出来的,主要是用于GB2312编码的补充。这种编码依然是一个汉字两个字节。

(3)Unicode

上面看到,中国可以做出了一个编码,日本也可以做出来一个编码,时间久了每个国家都有着自己的一套编码,就不可避免的造成冲突。于是Unicode出来了,把所有语言统一起来合成一个规则。这种编码是定长的字节数。

(4)UTF8

既然Unicode是定长的字节数,那么存储一个复杂的汉字可能需要三个字节,但是为了保证是2的幂数集,就会自动扩充为4个字节,别看着一个字节之差,存储的字数多了就会极大的浪费空间。是于是而 UTF-8 采用了一种变长技术,每个编码区域有不同的字码长度。不同类型的字符可以是由 1~6 个字节组成。

以上这些编码方式会为每一个汉字或者是字母建立一个编码库,在编码的时候字母和编码一一对应。

3、为什么会出现乱码?

这个问题就是因为编码和解码是采用了不同的或者是不兼容的编码方案。比如一个用UTF-8编码的后的字符。再用GBK去解码,由于两个字符集的编码库不一样。同一个汉字在两个编码库的位置也不一样。于是就出现了乱码。

4、java如何解决乱码问题?

这个问题其实就是java中如何使用编码规则,因为使用好了编码规则。才可以很好地解决乱码问题。

(1)IO流

编码的目的上面已经说了,主要是字节和字符之间的转化。既然涉及到字节和字符很容易我们就能想到java中的IO流。也就是说java中编码的转换其实就是IO流中的类来实现的。

image

最核心的就是上面几个类,当然这里只是给出了输入的一部分,还有一些输出的类。

(2)String

String类中也提供了一些转码的方法。下面我们会通过实例来说明。为什么String可以实现呢?这是因为String底层保存的其实就是一个一个字节,而且String还有方法直接转化为字符。所以String肯定也能实现。

(3)Charset

这个Charset是javaNIO中的一个类,整个流程就是读取数据,然后转化为byte,也就是字符。然后重新编码成字符就OK了。

下面我们使用代码来实现一下:

二、代码实现

1、IO流

首先是IO流实现,这种通过输入输出流可以直接的指定编码规则。

    public void convertionFile() throws IOException {
        File file = new File("./愚公要移山.txt");
        FileInputStream fis = new FileInputStream(file);
        InputStreamReader inReader = new InputStreamReader(fis, "gbk");
        FileOutputStream fos = new FileOutputStream(file);
        OutputStreamWriter outReader = new OutputStreamWriter(fos, "utf-8");
        //这种输入gbk,输出utf-8肯定会出现错误
    }

2、String

使用string是最方便的,代码也比较简洁,适用于字符串的编码。

public void convertionString() throws UnsupportedEncodingException {
        String s = "愚公要移山,码农飞上天";
        // 正常情况下转码的过程
        byte[] b = s.getBytes("gbk");// 编码
        String sa = new String(b, "gbk");// 解码
        System.out.println(sa);
        // 错误状态下转码的过程
        b = sa.getBytes("utf-8");// 编码使用utf-8
        sa = new String(b, "gbk");// 解码使用gbk
        System.err.println(sa);
}
//控制台输出:
//愚公要移山,码农飞上天
//鎰氬叕瑕佺Щ灞憋紝鐮佸啘椋炰笂澶?

3、Charset

public void convertionCharset() throws IOException {
        Charset charset = StandardCharsets.UTF_8;
        // 从字符集中创建相应的编码和解码器
        CharsetEncoder encoder = charset.newEncoder();
        CharsetDecoder decoder = charset.newDecoder();
        // 构造一个buffer
        CharBuffer charBuffer = CharBuffer.allocate(64);
        charBuffer.put('A');
        charBuffer.flip();
        // 将字符序列转换成字节序列
        ByteBuffer bb = encoder.encode(charBuffer);
        // 将字节序列转换成字符序列
        bb.flip();
        CharBuffer cb = decoder.decode(bb);
}

以上就是三种基本的实现方式,当然还有一些其他的,比如Spring中提供的编码转换工具等等。在这里就不说了,因为技术太多,实现的方式也太多,我们就看这几种即可。

?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容