java - 为什么Java和Go的gzip得到不同的结果？

首先，我的Java版本:

string str = "helloworld";
ByteArrayOutputStream localByteArrayOutputStream = new ByteArrayOutputStream(str.length());
GZIPOutputStream localGZIPOutputStream = new GZIPOutputStream(localByteArrayOutputStream);
localGZIPOutputStream.write(str.getBytes("UTF-8"));
localGZIPOutputStream.close();
localByteArrayOutputStream.close();
for(int i = 0;i < localByteArrayOutputStream.toByteArray().length;i ++){
    System.out.println(localByteArrayOutputStream.toByteArray()[i]);
}

和输出是:

31
-117
8
0
0
0
0
0
0
0
-53
72
-51
-55
-55
47
-49
47
-54
73
1
0
-83
32
-21
-7
10
0
0
0

然后是 Go 版本:

var gzBf bytes.Buffer
gzSizeBf := bufio.NewWriterSize(&gzBf, len(str))
gz := gzip.NewWriter(gzSizeBf)
gz.Write([]byte(str))
gz.Flush()
gz.Close()
gzSizeBf.Flush()
GB := (&gzBf).Bytes()
for i := 0; i < len(GB); i++ {
    fmt.Println(GB[i])
}

输出:

31
139
8
0
0
9
110
136
0
255
202
72
205
201
201
47
207
47
202
73
1
0
0
0
255
255
1
0
0
255
255
173
32
235
249
10
0
0
0

为什么？

一开始我觉得可能是这两种语言的字节读取方式不同造成的。但我注意到 0 永远不能转换为 9。还有 []byte 的大小是不同的。

我写错代码了吗？有什么办法可以让我的 Go 程序得到与 Java 程序相同的输出？

谢谢!

---

Best Answer-推荐答案

首先是byte Java中的类型是有符号的，它的范围是-128..127 , 而在 Go 中 byte是 uint8 的别名并且范围为 0..255 .所以如果你想比较结果，你必须将负的 Java 值移动 256 (添加 256)。

提示:要显示 Java byte无符号形式的值，使用:byteValue & 0xff将其转换为 int使用 byte 的 8 位作为 int 中的最低 8 位.或者更好:以十六进制形式显示两个结果，这样您就不必关心符号...

即使你进行了转变，你仍然会看到不同的结果。这可能是由于不同语言的默认压缩级别不同。请注意，虽然默认压缩级别是 6在 Java 和 Go 中，都没有指定，并且允许不同的实现选择不同的值，并且在 future 的版本中也可能会发生变化。

即使压缩级别相同，您仍可能会遇到差异，因为 gzip 基于 LZ77和 Huffman coding它使用建立在频率(概率)上的树来决定输出代码，如果不同的输入字符或位模式具有相同的频率，则它们之间分配的代码可能会有所不同，而且多个输出位模式可能具有相同的长度，因此不同一个可能会被选中。

如果您想要相同的输出，唯一的方法是(请参阅下面的注释!)使用 0 压缩级别(根本不压缩)。在 Go 中使用压缩级别 gzip.NoCompression在 Java 中使用 Deflater.NO_COPMRESSION .

java :

GZIPOutputStream gzip = new GZIPOutputStream(localByteArrayOutputStream) {
    {
        def.setLevel(Deflater.NO_COMPRESSION);
    }
};

Go:

gz, err := gzip.NewWriterLevel(gzSizeBf, gzip.NoCompression)

但我不会担心不同的输出。 Gzip 是一种标准，即使输出不同，您仍然可以使用任何用于压缩数据的 gzip 解码器来解压缩输出，并且解码后的数据将完全相同。

以下是简化的扩展版本:

这并不重要，但您的代码不必要地复杂。您可以像这样简化它们(这些版本还包括设置 0 压缩级别和转换负 Java byte 值):

java 版:

ByteArrayOutputStream buf = new ByteArrayOutputStream();
GZIPOutputStream gz = new GZIPOutputStream(buf) {
    { def.setLevel(Deflater.NO_COMPRESSION); }
};
gz.write("helloworld".getBytes("UTF-8"));
gz.close();
for (byte b : buf.toByteArray())
    System.out.print((b & 0xff) + " ");

去版本:

var buf bytes.Buffer
gz, _ := gzip.NewWriterLevel(&buf, gzip.NoCompression)
gz.Write([]byte("helloworld"))
gz.Close()
fmt.Println(buf.Bytes())

备注:

gzip 格式允许在输出中包含一些额外的字段(标题)。

在 Go 中，这些由 gzip.Header 表示。类型:

type Header struct {
    Comment string    // comment
    Extra   []byte    // "extra data"
    ModTime time.Time // modification time
    Name    string    // file name
    OS      byte      // operating system type
}

它可以通过 Writer.Header 访问结构域。 Go 设置并插入它们，而 Java 不 (使标题字段为零)。因此，即使您将两种语言的压缩级别设置为 0，输出也不会相同(但“压缩”数据将在两种输出中匹配)。

不幸的是，标准 Java 没有提供设置/添加这些字段的方法/接口(interface)，并且 Go 没有选择填充 Header。输出中的字段，因此您将无法生成准确的输出。

一种选择是使用支持设置这些字段的 Java 的 3rd 方 GZip 库。 Apache Commons Compress就是这样一个例子，它包含一个 GzipCompressorOutputStream 具有允许 GzipParameters 的构造函数的类要传递的实例。此 GzipParameters等效于 gzip.Header结构体。只有使用它才能生成准确的输出。

但如前所述，生成精确的输出没有实际值(value)。

关于java - 为什么Java和Go的gzip得到不同的结果？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29002769/