go语言爬虫http的简单介绍( 二 )

7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;
8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。
go语言实现一个简单的简单网关网关=反向代理+负载均衡+各种策略，技术实现也有多种多样，有基于 nginx 使用 lua 的实现，比如 openresty、kong；也有基于 zuul 的通用网关；还有就是 golang 的网关，比如 tyk 。
这篇文章主要是讲如何基于 golang 实现一个简单的网关。
转自： troy.wang/docs/golang/posts/golang-gateway/
整理：go语言钟文文档:
启动两个后端 web 服务（代码）
这里使用命令行工具进行测试
具体代码
直接使用基础库 httputil 提供的NewSingleHostReverseProxy即可，返回的reverseProxy对象实现了serveHttp方法，因此可以直接作为 handler 。
具体代码
director中定义回调函数，入参为*http.Request，决定如何构造向后端的请求，比如 host 是否向后传递，是否进行 url 重写，对于 header 的处理，后端 target 的选择等，都可以在这里完成。
director在这里具体做了：
modifyResponse中定义回调函数，入参为*http.Response，用于修改响应的信息，比如响应的 Body，响应的 Header 等信息。
最终依旧是返回一个ReverseProxy，然后将这个对象作为 handler 传入即可。
参考 2.2 中的NewSingleHostReverseProxy，只需要实现一个类似的、支持多 targets 的方法即可，具体实现见后面。
作为一个网关服务，在上面 2.3 的基础上，需要支持必要的负载均衡策略，比如：
随便 random 一个整数作为索引，然后取对应的地址即可，实现比较简单。
具体代码
使用curIndex进行累加计数，一旦超过 rss 数组的长度，则重置。
具体代码
轮询带权重，如果使用计数递减的方式，如果权重是5,1,1那么后端 rs 依次为a,a,a,a,a,b,c,a,a,a,a… ，其中 a 后端会瞬间压力过大；参考 nginx 内部的加权轮询，或者应该称之为平滑加权轮询，思路是：
后端真实节点包含三个权重：
操作步骤：
具体代码
一致性 hash 算法，主要是用于分布式 cache 热点/命中问题；这里用于基于某 key 的 hash 值，路由到固定后端，但是只能是基本满足流量绑定，一旦后端目标节点故障，会自动平移到环上最近的那么个节点。
实现：
具体代码
每一种不同的负载均衡算法，只需要实现添加以及获取的接口即可。
然后使用工厂方法，根据传入的参数，决定使用哪种负载均衡策略。
具体代码
作为网关，中间件必不可少，这类包括请求响应的模式，一般称作洋葱模式，每一层都是中间件，一层层进去，然后一层层出来。
中间件的实现一般有两种，一种是使用数组，然后配合 index 计数；一种是链式调用。
具体代码
网络爬虫是语言go，为什么？不是啊，都可以啊，比如C（万能的啥都可以做），C++（也基本是万能的，爬虫不算啥），python（简单，几十行代码能搞定一个小型爬虫），go当然也可以。
没有限制的！
希望我的回答对你有帮助望采纳！
【go语言爬虫http的简单介绍】关于go语言爬虫http和的介绍到此就结束了，不知道你从中找到你需要的信息了吗？如果你还想了解更多这方面的信息，记得收藏关注本站。