一些网站https证书出现问题的情况分析
<p>[20200328 17:00 更新] 更新数据到20200328 16:00.</p><p>20200326下午，有<a href="https://v2ex.com/t/656367?p=2">消息说</a>[1]github的TLS证书出现了错误告警。证书的结构很奇怪，在其签发者信息中有一个奇怪的email地址：346608453@qq.com。明显是一个伪造的证书。</p><p>为了弄清楚其中的情况，我们对这一事件进行了分析。</p><h2 id="dns-">DNS劫持？</h2><p>出现证书和域名不匹配的最常见的一种情况是DNS劫持，即所访问域名的IP地址和真实建立连接的IP并不相同。</p><p>以被劫持的域名go-acme.github.io为例，我们的passiveDNS库中该域名的IP地址主要使用如下四个托管在fastly上的IP地址，可以看到其数据非常干净。</p><figure class="kg-card kg-image-card"><img src="__GHOST_URL__/content/images/2020/03/go-acme.github.io_rrsets.png" class="kg-image" alt loading="lazy"></figure><p>对该域名直接进行连接测试，可以看到，TCP连接的目的地址正是185.199.111.153，但其返回的证书却是错误的证书。因此github证书错误的问题并不是在DNS层面出现问题。</p><figure class="kg-card kg-image-card"><img src="__GHOST_URL__/content/images/2020/03/go-acme.github.io_curl.png" class="kg-image" alt loading="lazy"></figure><h2 id="-">劫持如何发生的？</h2><p>为了搞清楚这个问题，可以通过抓取链路上的数据包来进行分析。为了有较好的对比性，我们先后抓取了443端口和80端口的数据。如下图</p><figure class="kg-card kg-image-card kg-card-hascaption"><img src="__GHOST_URL__/content/images/2020/03/https_vs_http.png" class="kg-image" alt loading="lazy"><figcaption>TCP三次握手中的服务器应答对比</figcaption></figure><p>左边的数据包为https连接，右边的数据包为http连接。可以看到https的服务器应答TTL为53，http的则为44。一般来说，在时间接近的情况下，连接相同的目标IP，数据包在链路上的路径是是近似的。https的TTL显著的大于http的TTL，看起来很有可能是在链路上存在劫持。</p><p>有意思的是 <strong>在https后续的连接中其TTL值并不稳定</strong>，比如在响应证书的数据包中，其TTL变成了47，介于44和53之间，更接近于http链路的情况。作为对比，<strong>http的后续数据包的TTL值则一直稳定在44</strong>。</p><p>[20200327 23:00 更新] 在数据包内容方面，另一个值得关注的点是：被劫持的会话数据包(https)全部回包的IPID都是0.  正常数据包(http)首次回包IPID是0，之后的回包就不是了。</p><p>这是两个有意思的现象。</p><figure class="kg-card kg-image-card kg-card-hascaption"><img src="__GHOST_URL__/content/images/2020/03/https_certificates.png" class="kg-image" alt loading="lazy"><figcaption>被劫持会话后续返回的TTL值</figcaption></figure><p>因此，结合https会话过程中TTL值和IPID的异常，我们猜测是在链路上发生了劫持。</p><h2 id="--1">证书是怎么回事？</h2><p>事实上，从我们DNSMon系统的证书信息来看，这个证书（9e0d4d8b078d7df0da18efc23517911447b5ee8c）的入库时间在20200323早上六点。考虑到数据分析的时延，其开始在大网上使用最晚可以追溯到20200322。</p><p>同时可以看到，这个证书在证书链上的父证书（03346f4c61e7b5120e5db4a7bbbf1a3558358562）是一个自签名的证书，并且两者使用相同的签发者信息。</p><figure class="kg-card kg-image-card kg-card-hascaption"><img src="__GHOST_URL__/content/images/2020/03/cert_info.png" class="kg-image" alt loading="lazy"><figcaption>相关证书信息</figcaption></figure><h3 id="--2">受影响的域名及时间</h3><p>从上图中可以看到，该证书的影响不仅仅在github，实际上范围非常大。通过DNSMon系统，我们提取出了受影响的域名共 <strong>15462</strong>个。</p><p>通过DNSMon系统查看这些域名的流行度，在TOP1000的域名中，有40个域名受影响，列表如下：</p><!--kg-card-begin: markdown--><p>1	www.jd.com<br>
5	www.baidu.com<br>
10	www.google.com<br>
37	www.sina.com<br>
44	www.163.com<br>
51	www.douyu.com<br>
62	www.suning.com<br>
86	www.pconline.com.cn<br>
91	sp1.baidu.com<br>
126	twitter.com<br>
137	www.eastmoney.com<br>
143	mini.eastday.com<br>
158	sp0.baidu.com<br>
174	www.jianshu.com<br>
177	www.mgtv.com<br>
185	www.zhihu.com<br>
232	www.toutiao.com<br>
241	price.pcauto.com.cn<br>
271	www.google.com.hk<br>
272	video.sina.com.cn<br>
299	www.youtube.com<br>
302	www.acfun.cn<br>
365	www.vip.com<br>
421	news.ifeng.com<br>
451	car.autohome.com.cn<br>
472	www.facebook.com<br>
538	www.gamersky.com<br>
550	www.xiaohongshu.com<br>
552	www.zaobao.com<br>
580	www.xxsy.net<br>
621	www.huya.com<br>
640	mp.toutiao.com<br>
643	www.ifeng.com<br>
689	www.ip138.com<br>
741	dl.pconline.com.cn<br>
742	v.ifeng.com<br>
784	www.yicai.com<br>
957	passport2.chaoxing.com<br>
963	3g.163.com<br>
989	www.doyo.cn</p>
<!--kg-card-end: markdown--><p>对这些域名发生证书劫持时的DNS解析情况分析发现，这些域名的解析IP均在境外，属于这些域名在境外的CDN服务。值得一提的是尽管这些域名都是排名靠前的大站，但是因为国内访问的时候，CDN解析会将其映射为国内的IP地址，因此国内感知到这些大站被劫持的情况比较小。</p><h4 id="--3">受影响二级域排名</h4><p>在二级域方面，github.io 是受影响最大的二级域，也是此次劫持事件的关注焦点。</p><!--kg-card-begin: markdown--><p>1297 github.io<br>
35 app2.xin<br>
25 github.com<br>
18 aliyuncs.com<br>
17 app2.cn<br>
14 nnqp.vip<br>
10 jov.cn<br>
8 pragmaticplay.net<br>
7 tpdz10.monster<br>
7 suning.com</p>
<!--kg-card-end: markdown--><p>从时间维度来看，这些域名的首次被劫持时间分布如下：</p><figure class="kg-card kg-image-card"><img src="__GHOST_URL__/content/images/2020/03/first_seen_timeline-2.png" class="kg-image" alt loading="lazy"></figure><p>从图中可以看出域名首次受影响的数量有日常作息规律，并且在3月26号数量有了较大幅度的增加。</p><h2 id="--4">结论</h2><!--kg-card-begin: markdown--><p>1）劫持涉及域名较多，共计15462个，其中TOP1000的网站有40个；<br>
2）劫持主要发生在国内用户访问上述域名的海外CDN节点的链路上。国内用户访问国内节点的情况下未见影响；<br>
3）所有这些劫持均使用了以 <a href="mailto:346608453@qq.com">346608453@qq.com</a> 名义签名的证书，但我们没有找到 编号 346608453 的QQ用户与本次劫持事件相连的直接证据，也不认为该QQ用户与本次事件有直接关联；<br>
4）所有这些劫持最早出现在 20200321 23时附近并且在20200326处于高峰。<br>
5）在20200327 11时之后，此劫持现象已经消失。前后共约131小时。</p>
<!--kg-card-end: markdown--><h2 id="--5">参考链接</h2><ol><li><a href="https://v2ex.com/t/656367?p=2">https://v2ex.com/t/656367?p=2</a></li></ol>
[20200328 17:00 更新] 更新数据到20200328 16:00.

20200326下午，有消息说[1]github的TLS证书出现了错误告警。证书的结构很奇怪，在其签发者信息中有一个奇怪的email地址：346608453@qq.com。明显是一个伪造的证书。

为了弄清楚其中的情况，我们对这一事件进行了分析。


DNS劫持？

出现证书和域名不匹配的最常见的一种情况是DNS劫持，即所访问域名的IP地址和真实建立连接的IP并不相同。

以被劫持的域名go-acme.github.io为例，我们的passiveDNS库中该域名的IP地址主要使用如下四个托管在fastly上的IP地址，可以看到其数据非常干净。

对该域名直接进行连接测试，可以看到，TCP连接的目的地址正是185.199.111.153，但其返回的证书却是错误的证书。因此github证书错误的问题并不是在DNS层面出现问题。


劫持如何发生的？

为了搞清楚这个问题，可以通过抓取链路上的数据包来进行分析。为了有较好的对比性，我们先后抓取了443端口和80端口的数据。如下图

左边的数据包为https连接，右边的数据包为http连接。可以看到https的服务器应答TTL为53，http的则为44。一般来说，在时间接近的情况下，连接相同的目标IP，数据包在链路上的路径是是近似的。https的TTL显著的大于http的TTL，看起来很有可能是在链路上存在劫持。

有意思的是 在https后续的连接中其TTL值并不稳定，比如在响应证书的数据包中，其TTL变成了47，介于44和53之间，更接近于http链路的情况。作为对比，http的后续数据包的TTL值则一直稳定在44。

[20200327 23:00 更新] 在数据包内容方面，另一个值得关注的点是：被劫持的会话数据包(https)全部回包的IPID都是0.  正常数据包(http)首次回包IPID是0，之后的回包就不是了。

这是两个有意思的现象。

因此，结合https会话过程中TTL值和IPID的异常，我们猜测是在链路上发生了劫持。


证书是怎么回事？

事实上，从我们DNSMon系统的证书信息来看，这个证书（9e0d4d8b078d7df0da18efc23517911447b5ee8c）的入库时间在20200323早上六点。考虑到数据分析的时延，其开始在大网上使用最晚可以追溯到20200322。

同时可以看到，这个证书在证书链上的父证书（03346f4c61e7b5120e5db4a7bbbf1a3558358562）是一个自签名的证书，并且两者使用相同的签发者信息。


受影响的域名及时间

从上图中可以看到，该证书的影响不仅仅在github，实际上范围非常大。通过DNSMon系统，我们提取出了受影响的域名共 15462个。

通过DNSMon系统查看这些域名的流行度，在TOP1000的域名中，有40个域名受影响，列表如下：

1 www.jd.com

5 www.baidu.com

10 www.google.com

37 www.sina.com

44 www.163.com

51 www.douyu.com

62 www.suning.com

86 www.pconline.com.cn

91 sp1.baidu.com

126 twitter.com

137 www.eastmoney.com

143 mini.eastday.com

158 sp0.baidu.com

174 www.jianshu.com

177 www.mgtv.com

185 www.zhihu.com

232 www.toutiao.com

241 price.pcauto.com.cn

271 www.google.com.hk

272 video.sina.com.cn

299 www.youtube.com

302 www.acfun.cn

365 www.vip.com

421 news.ifeng.com

451 car.autohome.com.cn

472 www.facebook.com

538 www.gamersky.com

550 www.xiaohongshu.com

552 www.zaobao.com

580 www.xxsy.net

621 www.huya.com

640 mp.toutiao.com

643 www.ifeng.com

689 www.ip138.com

741 dl.pconline.com.cn

742 v.ifeng.com

784 www.yicai.com

957 passport2.chaoxing.com

963 3g.163.com

989 www.doyo.cn


对这些域名发生证书劫持时的DNS解析情况分析发现，这些域名的解析IP均在境外，属于这些域名在境外的CDN服务。值得一提的是尽管这些域名都是排名靠前的大站，但是因为国内访问的时候，CDN解析会将其映射为国内的IP地址，因此国内感知到这些大站被劫持的情况比较小。

受影响二级域排名

在二级域方面，github.io 是受影响最大的二级域，也是此次劫持事件的关注焦点。

1297 github.io

35 app2.xin

25 github.com

18 aliyuncs.com

17 app2.cn

14 nnqp.vip

10 jov.cn

8 pragmaticplay.net

7 tpdz10.monster

7 suning.com


从时间维度来看，这些域名的首次被劫持时间分布如下：

从图中可以看出域名首次受影响的数量有日常作息规律，并且在3月26号数量有了较大幅度的增加。


结论

1）劫持涉及域名较多，共计15462个，其中TOP1000的网站有40个；

2）劫持主要发生在国内用户访问上述域名的海外CDN节点的链路上。国内用户访问国内节点的情况下未见影响；

3）所有这些劫持均使用了以 346608453@qq.com 名义签名的证书，但我们没有找到 编号 346608453 的QQ用户与本次劫持事件相连的直接证据，也不认为该QQ用户与本次事件有直接关联；

4）所有这些劫持最早出现在 20200321 23时附近并且在20200326处于高峰。

5）在20200327 11时之后，此劫持现象已经消失。前后共约131小时。



参考链接

 1. https://v2ex.com/t/656367?p=2
{"version":"0.3.1","atoms":[],"cards":[["image",{"src":"__GHOST_URL__/content/images/2020/03/go-acme.github.io_rrsets.png"}],["image",{"src":"__GHOST_URL__/content/images/2020/03/go-acme.github.io_curl.png"}],["image",{"src":"__GHOST_URL__/content/images/2020/03/https_vs_http.png","caption":"TCP三次握手中的服务器应答对比"}],["image",{"src":"__GHOST_URL__/content/images/2020/03/https_certificates.png","caption":"被劫持会话后续返回的TTL值"}],["image",{"src":"__GHOST_URL__/content/images/2020/03/cert_info.png","caption":"相关证书信息"}],["markdown",{"markdown":"1\twww.jd.com\n5\twww.baidu.com\n10\twww.google.com\n37\twww.sina.com\n44\twww.163.com\n51\twww.douyu.com\n62\twww.suning.com\n86\twww.pconline.com.cn\n91\tsp1.baidu.com\n126\ttwitter.com\n137\twww.eastmoney.com\n143\tmini.eastday.com\n158\tsp0.baidu.com\n174\twww.jianshu.com\n177\twww.mgtv.com\n185\twww.zhihu.com\n232\twww.toutiao.com\n241\tprice.pcauto.com.cn\n271\twww.google.com.hk\n272\tvideo.sina.com.cn\n299\twww.youtube.com\n302\twww.acfun.cn\n365\twww.vip.com\n421\tnews.ifeng.com\n451\tcar.autohome.com.cn\n472\twww.facebook.com\n538\twww.gamersky.com\n550\twww.xiaohongshu.com\n552\twww.zaobao.com\n580\twww.xxsy.net\n621\twww.huya.com\n640\tmp.toutiao.com\n643\twww.ifeng.com\n689\twww.ip138.com\n741\tdl.pconline.com.cn\n742\tv.ifeng.com\n784\twww.yicai.com\n957\tpassport2.chaoxing.com\n963\t3g.163.com\n989\twww.doyo.cn"}],["markdown",{"markdown":"   1297 github.io\n     35 app2.xin\n     25 github.com\n     18 aliyuncs.com\n     17 app2.cn\n     14 nnqp.vip\n     10 jov.cn\n      8 pragmaticplay.net\n      7 tpdz10.monster\n      7 suning.com"}],["image",{"src":"__GHOST_URL__/content/images/2020/03/first_seen_timeline-2.png"}],["markdown",{"markdown":"1）劫持涉及域名较多，共计15462个，其中TOP1000的网站有40个；\n2）劫持主要发生在国内用户访问上述域名的海外CDN节点的链路上。国内用户访问国内节点的情况下未见影响；\n3）所有这些劫持均使用了以 346608453@qq.com 名义签名的证书，但我们没有找到 编号 346608453 的QQ用户与本次劫持事件相连的直接证据，也不认为该QQ用户与本次事件有直接关联；\n4）所有这些劫持最早出现在 20200321 23时附近并且在20200326处于高峰。\n5）在20200327 11时之后，此劫持现象已经消失。前后共约131小时。"}]],"markups":[["a",["href","https://v2ex.com/t/656367?p=2"]],["strong"]],"sections":[[1,"p",[[0,[],0,"[20200328 17:00 更新] 更新数据到20200328 16:00."]]],[1,"p",[[0,[],0,"20200326下午，有"],[0,[0],1,"消息说"],[0,[],0,"[1]github的TLS证书出现了错误告警。证书的结构很奇怪，在其签发者信息中有一个奇怪的email地址：346608453@qq.com。明显是一个伪造的证书。"]]],[1,"p",[[0,[],0,"为了弄清楚其中的情况，我们对这一事件进行了分析。"]]],[1,"h2",[[0,[],0,"DNS劫持？"]]],[1,"p",[[0,[],0,"出现证书和域名不匹配的最常见的一种情况是DNS劫持，即所访问域名的IP地址和真实建立连接的IP并不相同。"]]],[1,"p",[[0,[],0,"以被劫持的域名go-acme.github.io为例，我们的passiveDNS库中该域名的IP地址主要使用如下四个托管在fastly上的IP地址，可以看到其数据非常干净。"]]],[10,0],[1,"p",[[0,[],0,"对该域名直接进行连接测试，可以看到，TCP连接的目的地址正是185.199.111.153，但其返回的证书却是错误的证书。因此github证书错误的问题并不是在DNS层面出现问题。"]]],[10,1],[1,"h2",[[0,[],0,"劫持如何发生的？"]]],[1,"p",[[0,[],0,"为了搞清楚这个问题，可以通过抓取链路上的数据包来进行分析。为了有较好的对比性，我们先后抓取了443端口和80端口的数据。如下图"]]],[10,2],[1,"p",[[0,[],0,"左边的数据包为https连接，右边的数据包为http连接。可以看到https的服务器应答TTL为53，http的则为44。一般来说，在时间接近的情况下，连接相同的目标IP，数据包在链路上的路径是是近似的。https的TTL显著的大于http的TTL，看起来很有可能是在链路上存在劫持。"]]],[1,"p",[[0,[],0,"有意思的是 "],[0,[1],1,"在https后续的连接中其TTL值并不稳定"],[0,[],0,"，比如在响应证书的数据包中，其TTL变成了47，介于44和53之间，更接近于http链路的情况。作为对比，"],[0,[1],1,"http的后续数据包的TTL值则一直稳定在44"],[0,[],0,"。"]]],[1,"p",[[0,[],0,"[20200327 23:00 更新] 在数据包内容方面，另一个值得关注的点是：被劫持的会话数据包(https)全部回包的IPID都是0.  正常数据包(http)首次回包IPID是0，之后的回包就不是了。"]]],[1,"p",[[0,[],0,"这是两个有意思的现象。"]]],[10,3],[1,"p",[[0,[],0,"因此，结合https会话过程中TTL值和IPID的异常，我们猜测是在链路上发生了劫持。"]]],[1,"h2",[[0,[],0,"证书是怎么回事？"]]],[1,"p",[[0,[],0,"事实上，从我们DNSMon系统的证书信息来看，这个证书（9e0d4d8b078d7df0da18efc23517911447b5ee8c）的入库时间在20200323早上六点。考虑到数据分析的时延，其开始在大网上使用最晚可以追溯到20200322。"]]],[1,"p",[[0,[],0,"同时可以看到，这个证书在证书链上的父证书（03346f4c61e7b5120e5db4a7bbbf1a3558358562）是一个自签名的证书，并且两者使用相同的签发者信息。"]]],[10,4],[1,"h3",[[0,[],0,"受影响的域名及时间"]]],[1,"p",[[0,[],0,"从上图中可以看到，该证书的影响不仅仅在github，实际上范围非常大。通过DNSMon系统，我们提取出了受影响的域名共 "],[0,[1],1,"15462"],[0,[],0,"个。"]]],[1,"p",[[0,[],0,"通过DNSMon系统查看这些域名的流行度，在TOP1000的域名中，有40个域名受影响，列表如下："]]],[10,5],[1,"p",[[0,[],0,"对这些域名发生证书劫持时的DNS解析情况分析发现，这些域名的解析IP均在境外，属于这些域名在境外的CDN服务。值得一提的是尽管这些域名都是排名靠前的大站，但是因为国内访问的时候，CDN解析会将其映射为国内的IP地址，因此国内感知到这些大站被劫持的情况比较小。"]]],[1,"h4",[[0,[],0,"受影响二级域排名"]]],[1,"p",[[0,[],0,"在二级域方面，github.io 是受影响最大的二级域，也是此次劫持事件的关注焦点。"]]],[10,6],[1,"p",[[0,[],0,"从时间维度来看，这些域名的首次被劫持时间分布如下："]]],[10,7],[1,"p",[[0,[],0,"从图中可以看出域名首次受影响的数量有日常作息规律，并且在3月26号数量有了较大幅度的增加。"]]],[1,"h2",[[0,[],0,"结论"]]],[10,8],[1,"h2",[[0,[],0,"参考链接"]]],[3,"ol",[[[0,[0],1,"https://v2ex.com/t/656367?p=2"]]]]],"ghostVersion":"3.0"}