# Goribot

一个轻量的分布式友好的 Golang 爬虫框架。

!! Warning !!

Goribot 已经被迁移到 Gospider|github.com/zhshch2002/gospider。修复了一些调度问题并分离了网络请求部分到另一个仓库。此仓库会继续保留,建议新朋友使用新的 Gospider。

Goribot has been moved to Gospider|github.com/zhshch2002/gospider. Fixed some scheduling issues and separated the network request part to another repo. This repo will continue to be kept, suggest new friends to use the new Gospider.

# 🚀Feature

版本警告

Goribot 仅支持 Go1.13 及以上版本。

# 👜获取 Goribot

go get -u github.com/zhshch2002/goribot

TIP

Goribot 包含一个历史开发版本,如果您需要使用过那个版本,请拉取 Tag 为 v0.0.1 版本。

# ⚡建立你的第一个项目

package main

import (
	"fmt"
	"github.com/zhshch2002/goribot"
)

func main() {
	s := goribot.NewSpider()

	s.AddTask(
		goribot.GetReq("https://httpbin.org/get"),
		func(ctx *goribot.Context) {
			fmt.Println(ctx.Resp.Text)
			fmt.Println(ctx.Resp.Json("headers.User-Agent"))
		},
	)

	s.Run()
}

# 🎉完成

至此你已经可以使用 Goribot 了。更多内容请从 开始使用 了解。

# 🙏感谢

万分感谢以上项目的帮助🙏。

# 📃TODO

  • 分布式支持
  • 扩展
    • Json、CVS 数据收集
    • Limiter
    • 随机代理
    • 错误重试
    • 过滤响应码
  • English Document
Last Updated: 7/4/2020, 6:34:41 AM