背景
要做IP地址归属地查询，量比较大，所以想先从网上找到大部分的分配数据，写个蜘蛛程序来抓取入库，以后在程序的运行中不断进行维护、更新、完善。
一些关键点
代码解析
按功能模块对核心代码进行说明
ip.go
主进程，实现goroutine的调用。
func main() {
//利用go基本库封装的网页抓取函数，后面有说明
ctx := common.HttpGet("http://ips.chacuo.net/")
//正则表达式，有两个分组（两组小括号），分别取城市信息与url，具体分析代码后面有说明
reg := regexp.MustCompile(`<li><a title="[S]+" href='([^']+?)'>([^<]+?)</a></li>`)
//取得页面上所有的城市及相应url
ips := reg.FindAllStringSubmatch(string(ctx), -1)
ch := make(chan string) //建立无缓冲字符串通道
for _, el := range ips { //一个协程处理一个具体页面
go ipSpider.SpiderOnPage(el[1], el[2], ch)
}
for range ips { //阻塞等待所有抓取工作全部完成
fmt.Println(<-ch)
}
}
正则表达式说明
主进程针对所有省有入口页面，取得每省的入口分配给一个协程去处理，每一个入口是这个样子
<a title="北京最新IP地址段" href="http://ips.chacuo.net/view/s_BJ" rel="external nofollow" >北京</a>
请注意，这里面变化只有三个部分（title内容，href内容，链接显示内容），其中两个部分是我们需要的
title内容对应正则为 [S]+ ，非空白符
href内容对应的正则为 ([^']+?) ，第一次遇到单引号结束，问号表示非贪婪匹配，括号是分组，能方便取出所匹配信息
链接显示内容对应的正则为 ([^<]+?) ， 第一次遇到<时结束，第二个分组
FindAllStringSubmatch函数可以取出所有子分组，子分组从下标1开始，0为正则整体匹配的字符串
goroutine 流程
获取ip地址信息
与主进程类似，注意无信息时处理。
IpSpider.go
//获取页面数据
ctx := common.HttpGet(url)
//reg := regexp.MustCompile(`<li><a title="[S]+" href='([^']+?)'>([^<]+?)</a></li>`)
//两个分组分别对应IP段开始与结束
reg := regexp.MustCompile(`<dd><span class="v_l">([^<]+?)</span><span class="v_r">([^<]+?)</span><div class="clearfix"></div></dd>`)
//<dd><span class="v_l">49.64.0.0</span><span class="v_r">49.95.255.255</span><div class="clearfix"></div></dd>
//取得所有匹配的分组信息
ip := reg.FindAllStringSubmatch(string(ctx), -1)
//没有取得任何信息，提前返回，很重要，不然主进程会一直等待结束不了
if len(ip) == 0 {
ch <- "There are no data exist."
return nil
}
