go语言内存泄漏分析 go语言漏洞( 七 )

c语言程序员不好招
所以问题基本上是出在c语言不适应了现在互联网的快速变更的需求。之后百度决定重写这个项目。
那么在开发效率上，golang基本上是满足了百度的需求。首先BFE组有很多优秀的c/c++的程序员了， go语言内存泄漏分析他们转go几乎没有什么压力。对于一些不那么优秀的c程序员（比如经常漏内存的），用golang之后也不会导致一些低级错误了。所以在学习成本上，更换golang对百度影响不大。
另外，golang本身的并发模型、语言的描述能力、和内存管理等功能，也超过了c语言。所以整体上，开发效率得到了很大的提升。
使用golang遇到的最大的一个问题就是gc带来的问题。李炳毅老师也重点是讲解了baidu如何解决gc带来的延迟问题。
在golang的1.3版本，百度的实际测试下，10k个对象大概会带来1ms的延迟。而BFE一般会维持50万左右的连接数，如果不对golang的gc做任何优化的情况下，100万链接大概会带来400ms的延迟。相当于一个http请求还没有打到应用上，单单在nginx上就耗费了400ms 。这肯定不能接受。
【golang】海量数据去重-布隆过滤器在做域名爆破中go语言内存泄漏分析，遇到了把一个300Ggo语言内存泄漏分析的子域名json文件进行去重go语言内存泄漏分析，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。
布隆过滤器是一种数据结构，概率型数据结构，特定是高效插入和查询，可以用来告诉你“某一值一定不存在或者kennel存在” 。
相比于传统的map、set等数据结构，占用空间更少，但其返回结果是概率型的，不确定。
布隆过滤器内部维护一个bitArray(位数组)，开始所有数据为0，当一个元素过来时，能过多个哈希函数（hash1、hash2、hash3）计算不同的hash值，并通过hash值找到bitArray的下标，将里面的值改为由0变为1 。布隆过滤器有一个误判率，误判率越低，数组越长，所在空间越大，误判率越高，数组越小，所占空间越小。
这里贴上一个技术大牛的博客地址，里面对布隆过滤器用法以及在redis里面处理缓存穿透问题的详细介绍。
Go 1.12中出现的top命令RES参数异常增高的问题偶然在生产上部署了一个版本之后发现，机器不断重启报警，后经过查询linux日志发现，原来是因为服务占用内存过高被内核给kill掉了。接下来就是查问题，本来以为是内存泄漏，上了pprof工具之后发现，内存占用稳定在2.6g，而top命令则很快看到 RES 参数暴涨到12g+（机器内存16g）后被内核杀掉。百思不得其解。后来在翻阅Go1.12发布说明时看到一段话：
原文链接：
这段话的关键在于，Go1.12中使用的新的 MADV_FREE 模式，这个模式会更有效的释放无用的内存，但可能会让RSS增高，RSS是什么呢？Resident Set Size 常驻内存集，而top中 RES 参数的含义是进程使用的、未被换出的物理内存大小，也即常驻内存集。看到这里，试着在程序运行时加上这个参数 GODEBUG=madvdontneed=1 ，果然，内存稳定在2.7g，问题就此解决。
调试Go语言的核心转储（Core Dumps）英文原文链接【Go, the unwritten parts】发表于2017/05/22 作者JBD是Go语言开发小组成员
检查程序的执行路径和当前状态是非常有用的调试手段。核心文件（core file）包含了一个运行进程的内存转储和状态。它主要是用来作为事后调试程序用的。它也可以被用来查看一个运行中的程序的状态。这两个使用场景使调试文件转储成为一个非常好的诊断手段。我们可以用这个方法来做事后诊断和分析线上的服务（production services）。