Go语言

Go语言（Golang，The Go Programming Language），是谷歌2009发布的第二款开源编程语言。2009年7月份，谷歌曾发布了Simple语言，它是用来开发Android应用。

Go语言是谷歌推出的一种全新的编程语言，可以在不损失应用程序性能的情况下降低代码的复杂性。

谷歌首席软件工程师罗布派克(Rob Pike)说：我们之所以开发Go，是因为过去10多年间软件开发的难度令人沮丧。

Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。

Go语言官网： https://golang.org （需要VPN访问）

 

1. 下载 Go

Go语言是跨平台，支持Windows、Linux、Mac OS X等系统，还提供有源码，可编译安装

Windows ：go1.8.3.windows-amd64.msi (78MB)

Linux ：go1.8.3.linux-amd64.tar.gz (86MB)

Mac ：go1.8.3.darwin-amd64.tar.gz (85MB)   （推荐）

Source： go1.8.3.src.tar.gz (15MB)

 

2. 安装 Go

sudo tar -C /usr/local/ -zxvf go1.8.3.darwin-amd64.tar.gz      

注意： 必须安装在 /usr/local/ 目录下，因为GOROOT必须为/usr/local/go

安装目录说明：

$ ll /usr/local/go/
total 232
-rw-r--r--    1 homer  staff  33243 May 25 04:14 AUTHORS
-rw-r--r--    1 homer  staff   1366 May 25 04:14 CONTRIBUTING.md
-rw-r--r--    1 homer  staff  45710 May 25 04:14 CONTRIBUTORS
-rw-r--r--    1 homer  staff   1479 May 25 04:14 LICENSE
-rw-r--r--    1 homer  staff   1303 May 25 04:14 PATENTS
-rw-r--r--    1 homer  staff   1399 May 25 04:14 README.md
-rw-r--r--    1 homer  staff      7 May 25 04:14 VERSION
drwxr-xr-x   14 homer  staff    476 May 25 04:14 api
drwxr-xr-x    5 homer  staff    170 May 25 04:16 bin
drwxr-xr-x    4 homer  staff    136 May 25 04:16 blog
drwxr-xr-x   44 homer  staff   1496 May 25 04:14 doc
-rw-r--r--    1 homer  staff   5686 May 25 04:14 favicon.ico
drwxr-xr-x    3 homer  staff    102 May 25 04:14 lib
drwxr-xr-x   16 homer  staff    544 May 25 04:16 misc
drwxr-xr-x    7 homer  staff    238 May 25 04:16 pkg
-rw-r--r--    1 homer  staff     26 May 25 04:14 robots.txt
drwxr-xr-x   68 homer  staff   2312 May 25 04:14 src
drwxr-xr-x  269 homer  staff   9146 Jul 25 01:29 test

目录文件解释：

api   — 目录，包含所有API列表，方便IDE使用
bin   — 目录，存放编译后的可执行文件
blog  — 目录，
doc   — 目录，帮助文档
lib   — 目录，
misc  — 目录，
pkg   — 目录，存放编译后的包文件。pkg中的文件是Go编译生成的
src   — 目录，存放项目源文件
test  - 目录，示例代码

注：一般，bin和pkg目录可以不创建，go命令会自动创建（如 go install），只需要创建src目录即可。

AUTHORS         — 文件，作者列表，用记事本打开
CONTRIBUTING.md — 文件，
CONTRIBUTORS    — 文件，
LICENSE         — 文件，license，用记事本打开
PATENTS         — 文件，
README.md       — 文件，
VERSION         — 文件，版本信息，用记事本打开

favicon.ico     — 文件，
robots.txt      — 文件，使用robots.txt阻止对网址的访问，
详情查看https://support.google.com/webmasters/answer/6062608?hl=zh-Hans

 

Eclipse 安装Go插件，在市场里搜索 "go"，如下图，安装 GoClipse

注意： GoClipse插件开发的程序，需要重启电脑后才会生效，因为 /etc/profile 配置的环境变量重启电脑后才生效

 

3. 配置 Go

vim /etc/profile

添加配置：

GOROOT=/usr/local/go
export PATH=$GOROOT/bin:$PATH

使配置生效：

source /etc/profile

验证安装成功：

$ go version       
go version go1.8.3 darwin/amd64

 

4. 使用 Go

基本语法

Go 语言中 = 和 := 有什么区别

= 是赋值， := 是声明变量并赋值。 

// = 使用必须使用先var声明例如：
var a
a=100

// 或
var b = 100

// 或
var c int = 100

// := 是声明并赋值，并且系统自动推断类型，不需要var关键字
d := 100

 

1） hello 示例

vim hello.go

package main 

import "fmt"

func main() {
   fmt.Printf("hello mimvp.com")
}

编译执行：

go build
./hello

运行结果：

$ ./hello 
hello mimvp.com

 

2）爬取网页示例

vim spider_web.go 

/**
* mimvp.com
* 2017.4.12
*
* spider web of mimvp.com
*/

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	response, _ := http.Get("http://mimvp.com")
	defer response.Body.Close()
	body, _ := ioutil.ReadAll(response.Body)
	fmt.Println(string(body))	
	fmt.Printf("len : %d\n", len(string(body)));
}

编译执行：

$ go build spider_web.go 
$ ./spider_web   

<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">

...

</body>
</html>

len : 15661

 

5. 代理示例

Go语言支持的代理为 http 和 socks5，不支持 https 和 socks4

其中，Go使用socks5代理时，需要安装引用 "golang.org/x/net/proxy"，安装配置步骤如下：

1. download https://github.com/golang/net

2. unzip and move to /usr/local/go/src/golang.org/x/net/

3. import ( "golang.org/x/net/proxy" )

Go 语言代理示例如下（全部都经过测试，成功）： 

/**
* mimvp.com
* 2017.7.20
* golang use http, socks5 proxy
 */

package main

import (
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"net/url"
	"os"

	"golang.org/x/net/proxy"
)

// success http
// proxy_uri := "http://125.77.25.124:80"
// mimvp_url := "http://mimvp.com"
func main_1(proxy_uri string, mimvp_url string) {
	proxy := func(_ *http.Request) (*url.URL, error) {
		return url.Parse(proxy_uri)
	}
	transport := &http.Transport{Proxy: proxy}
	client := &http.Client{Transport: transport}
	resp, err := client.Get(mimvp_url)
	if err != nil {
		fmt.Println("error : ", err)
		return
	} else {
		defer resp.Body.Close()
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Printf("%s\n", body)
	}
}

// success http
// proxy_uri := "http://125.77.25.124:80"
// mimvp_url := "http://mimvp.com"
func main_2(proxy_uri string, mimvp_url string) {
	url_i := url.URL{}
	url_proxy, _ := url_i.Parse(proxy_uri)
	transport := &http.Transport{Proxy: http.ProxyURL(url_proxy)}
	client := http.Client{Transport: transport}
	resp, err := client.Get(mimvp_url)
	if err != nil {
		log.Fatalln(err)
	} else {
		defer resp.Body.Close()
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Printf("%s\n", body)
	}
}

// config environment varable
func main_22(proxy_uri string, mimvp_url string) {
	// url_i := url.URL{}
	// url_proxy, _ := url_i.Parse("https://127.0.0.1:9743")
	os.Setenv("HTTP_PROXY", "http://125.77.25.124:80")
	os.Setenv("HTTPS_PROXY", "https://210.209.89.100:8081")
	c := http.Client{ /* Transport: &http.Transport{ // Proxy: http.ProxyURL(url_proxy)} */ }
	resp, err := c.Get("http://mimvp.com")
	if err != nil {
		log.Fatalln(err)
	} else {
		defer resp.Body.Close()
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Printf("%s\n", body)
	}
}

// 指定代理ip
func getTransportFieldURL(proxy_addr *string) (transport *http.Transport) {
	url_i := url.URL{}
	url_proxy, _ := url_i.Parse(*proxy_addr)
	transport = &http.Transport{Proxy: http.ProxyURL(url_proxy)}
	return
}

// 从环境变量$http_proxy或$HTTP_PROXY中获取HTTP代理地址
// Linux 设置代理环境变量命令：
// http_proxy=http://125.77.25.124:80
// https_proxy=https://210.209.89.100:8081
func getTransportFromEnvironment() (transport *http.Transport) {
	transport = &http.Transport{Proxy: http.ProxyFromEnvironment}
	return
}

func fetch(mimvp_url, proxy_uri *string) (html string) {
	transport := getTransportFieldURL(proxy_uri)
	client := &http.Client{Transport: transport}
	req, err := http.NewRequest("GET", *mimvp_url, nil)
	if err != nil {
		log.Fatal(err.Error())
	}
	resp, err := client.Do(req)
	if err != nil {
		log.Fatal(err.Error())
	}
	if resp.StatusCode == 200 {
		robots, err := ioutil.ReadAll(resp.Body)
		resp.Body.Close()
		if err != nil {
			log.Fatal(err.Error())
		}
		html = string(robots)
	} else {
		html = ""
	}
	return
}

// success http
// proxy_uri := "http://125.77.25.124:80"
// mimvp_url := "http://mimvp.com"
func main_3(proxy_uri string, mimvp_url string) {
	html := fetch(&mimvp_url, &proxy_uri)
	fmt.Println(html)
}

// success socks5
// 1. download https://github.com/golang/net
// 2. unzip and move to /usr/local/go/src/golang.org/x/net/
// 3. import ( "golang.org/x/net/proxy" )
func main_socks5(proxy_socks string, mimvp_url string) {
	// create a socks5 dialer
	dialer, err := proxy.SOCKS5("tcp", proxy_socks, nil, proxy.Direct)
	if err != nil {
		fmt.Println(os.Stderr, "can\'t connect to socks5 proxy:", err)
		os.Exit(1)
	}

	// setup a http client
	//	transport := &http.Transport{}
	//	transport.Dial = dialer.Dial
	transport := &http.Transport{Dial: dialer.Dial}
	client := &http.Client{Transport: transport}

	resp, err := client.Get(mimvp_url)
	if err != nil {
		log.Fatalln(err)
	} else {
		defer resp.Body.Close()
		body, _ := ioutil.ReadAll(resp.Body)
		fmt.Printf("%s\n", body)
	}
}

func main() {
	// http proxy
	proxy_uri := "http://125.77.25.124:80"
	mimvp_url := "http://mimvp.com"
	main_1(proxy_uri, mimvp_url)
	main_2(proxy_uri, mimvp_url)
	main_3(proxy_uri, mimvp_url)

	// socks5 proxy
	proxy_socks := "175.138.65.244:1080"
	main_socks5(proxy_socks, mimvp_url)
}

 

本示例中的代理，全部来自米扑代理

米扑代理，提供专业高品质代理，支持http、https、socks4、socks5等协议，

覆盖全球120多个国家，中国34个省市，代理质量和可用性非常高

米扑代理：http://proxy.mimvp.com