由于Go语言非常易学,且代码精简,我们很多同事在研发视频平台的时候,都喜欢拿Go语言来做编程,我们这个问题就是在使用Go语言做编程的时候出现的,下面就跟大家详细讲一下。
在Go语言编程中,向目标机器发送http请求,获取内容时,经常会使用以下代码进行获取请求后的数据。
body, err := ioutil.ReadAll(resp.Body)
这个代码对于请求的数据大小不大的情况可以正常使用。但是如果后台数据的大小很大,则会导致内存溢出程序崩溃。
原因分析
Go 语言中 ReadAll() 是一次读取所有数据,比如一个文件大小为100M,也会将此文件一次性加载到内存中。如果请求过多,很快就会导致内存不够使用,程序崩溃。
解决办法
采用 Copy() 或者直接使用 Read() 方法替换掉 ReadAll()。本文中采用 Read() 的方式。
func getTs(req *http.Request) error {
client := http.Client{
Transport: &http.Transport{
ResponseHeaderTimeout: time.Second * 10,
},
//Timeout: time.Second * 10,
}
resp, err := client.Do(req)
// resp, err := http.Get(u)
if err != nil {
return err
}
defer resp.Body.Close()
buffer := make([]byte, 8192)
//result := bytes.NewBuffer(nil)
for {
time.Sleep(200)
_, err := resp.Body.Read(buffer)
if err != nil && err == io.EOF {
break
} else if err != nil {
return err
}
}
return nil
}
如果采用Read()方法,需要注意一下上文中的 err == io.EOF,此段代表文件已经读取完毕。
|
请发表评论