服务器对外发包怎么办

中国移动通信集团作为全国乃至世界最大的运营商，业务量不断增大，各类业务系统的持续加入，网络规模也随之升级与发展，网络及业务故障、异常日益突出。

问题描述

为了能对网络中业务数据进行可视化的监控、分析、诊断，帮助管理员排除网络事故，规避安全风险，提高网络可用性，某省移动公司业务支撑部部署了科来网络回溯分析系统对门户网站，针对其BOSS系统，数据库等关键节点进行监控，并在日常运维中利用该系统协助分析并解决了大量问题。

分析价值

通过数据流进行解码快速分析与定位网络故障位置、分析应用流量确定故障原因，为排障以及优化网络资源提供可靠数据依据;通过长期监测网络带宽用量、能够建立网络基准，一旦出现异常流量能够迅速发现，减少故障恢复时间，甚至能在故障发生前消除故障隐患。

分析过程

本次案例将分为6个部分，两次推送，按照网络分析逻辑，深入浅出讲解回溯分析全过程。

丢包问题

某业务的访问出现丢包情况，业务支撑部通过回溯分析迅速定位到丢包位置。对丢包位置的流量进行分析发现，该链路为千兆环境，当时链路利用率几乎达到100%。而该链路中某非关键业务的瞬时流量竟达到900Mbps以上，占当前链路带宽的90%以上。链路利用率达到80%以上就会发生大量丢包，该业务流量过大挤占带宽造成其他业务出现丢包。业务支撑部将该链路带宽有千兆升级为万兆后故障恢复。

门户网站访问被重置

集团公司在检查中发现访问该省移动门户网站的连接会被重置。

通过出口与负载均衡前的流量对比发现：在出口公网地址XX.XX.XX.131访问门户XX.XX.XX.255的80端口，三次握手成功后直接被RST重置。XX.XX.XX.131发送GET请求，仍然被重置。而在负载均衡前XX.XX.XX.131根本没有建立起三次握手，而直接发送了请求包，没有意外的被服务器重置。

重点分析出口的数据包，查看服务器端发包的生存时间可以判断发包位置，SYN ACK包的生存时间为128，说明到出口位置没有经过三层设备转发。该包不是服务器发出，而是防火墙或是其他设备做了代理与公网IP建立连接。

导致连接被重置的RST包生存时间也是128，说明该包也是代理设备发出。由于防火墙需要进行一次转发，所以该代理设备为防火墙或者在防火墙以外的设备。

最后一个重置包生存时间为254，说明该包到出口位置被2次转发。

结合负载均衡前的数据包进行分析，服务器在没有建立三次握手的情况下收到请求包，发出重置包。重置包的生存时间为255，说明该包都负载均衡前被转发了一次，该包确实为服务器发出。

总结

代理设备(防火墙或者防护墙以外的安全设备)与公网地址建立三次握手，正常情况下它会再与内网的服务器建立三次握手，然后将公网地址的请求转发给服务器。在本次故障中代理设备与公网地址建立三次握手后直接发送RST中断连接，没有与内网服务器建立三次握手。需要对代理设备进行排查，确认重置连接的机制。

高危端口扫描测试

集团公司在安全检查中发现，门户网站有高危端口对外开放。经过出口与防火墙后的流量进行对比发现：出口确实有针对TCP 445,139等高危端口的扫描流量。墙后流量却没有发现任何扫描流量。

端口没有开放的情况下，扫描应该得不到回复或者得到ACK RST的回复。通过对出口流量分析，针对445，139的连接确实有SYN ACK的回复，说明三次握手可以建立。该包的生存时间为128，说明为代理设备发送。扫描软件并没有真正建立连接而是收到SYN ACK包后直接判断端口开放。而代理设备的机制是与外网客户端建立三次握手成功后才会发起往内网服务器的连接。由于外网连接没有建立成功，代理设备也没有往内网建立连接，因此不能真正判断内网服务器高危端口的开放情况。

总结

由于扫描软件的扫描机制不会建立完整的连接，代理设备就不会往内网服务器建立连接。因此这种扫描方式扫描流量不能进到内网，只能扫到代理设备的端口开放情况，不能真正判断服务器的端口开放情况。

（未完待续）

-END-

延伸阅读

【案例】某基金FMS系统交易慢故障分析

【案例】如何解决虚拟化业务访问缓慢问题

【案例】通过网络分析验证IPS设备攻击误报

(请在对话低栏回复“案例汇总”以获取所有案例)