维持100G连接上的全双工线速率捕捉到磁盘

Andrew Watters，Raellic Ceo / Director的Guest Blog

近年来硬件的进步使得任何具有合理体验水平的人才可以构建一个设备，该设备捕获千兆级网络上的所有流量而没有数据包丢失。

我有个这样的设备叫愿景™。在今天的性能水平上，每个旋转磁盘的写入速度超过200mb /s，它只需要两个硬盘驱动器RAID 0在饱和的1G连接上保证全双工线速率捕获到磁盘。在RAID 0中有三个硬盘驱动器，顶部超过600 MB / s，您可能会屏蔽两个全双工1G连接，并同时将流捕获到磁盘。

有了这么低的进入门槛，磁盘的1G捕获就不像以前那么吸引人了，这就引出了一个问题:对磁盘性能的捕获是否有上限?

时分小包转向

新兴技术导致我相信没有上限，我提出了我提出的解决方案，以连续100G全双工线速率捕获到磁盘。显然没有这个策略的行业标准术语，所以我建议称之为“时分划分包转向”。

这个项目的起源是斯诺登的文件这句话反复提到了政府利用海底电缆等海量数据速率连接的能力。

我一直在琢磨我如何与商业现成的硬件,但我不能搞定它,直到它击中了我一天:分而治之高数据率流成足够小块,每台机器捕捉到磁盘的速度在其硬件的限制。由此产生的设计既麻烦又有趣，因为它将使国家一级的实体能够记录他们所有的流量，并在感兴趣的事件发生前回放最多几天的流量。在美国，流量回放对调查网络事件和恐怖袭击非常有用。在伊朗，它肯定是一种控制工具。我不能说我知道所有的答案问题。

视觉ω™

无论如何，我相信有几种方法可以在100G的连接上捕获磁盘而不丢包，其中一些需要大量的进一步研究和开发(如果你愿意，请给我发邮件介绍“波长划分包指导”)。最直接和最简单的解决方案使用公开现有技术似乎是:

1. 插入花环被动100G点击以复制并从每个方向上发送100％的网络流量。两个流在两个主机器中的一台（每个流量方向的一台主机中，都进入了基于FPGA的NIC;
2. 以轮循的方式将在100G网卡上收到的每20个数据包发送到同一机器上的20个10G端口中的一个;
3. 将每个10G流发送到42U存储集群中的集群单元;
4. 使用修改版本的tcpdump捕获每个集群单元上的10G流;
5. 将流写入由三个硬盘驱动器组成的RAID 0阵列;和
6. 将生成的捕获文件与tcpslice合并，以便以后进行分析。

或者，我可以在特定的50毫秒时间内将100G网卡上接收的所有包发送到10G网卡之一，同样是在a上轮询调度基础。通过这种方式，主机将每个方向的流量分成20个较小的流，每40个集群单元以最大625 MB/s的速度捕获这些流。这个速率接近RAID 0中3个最顶级的8tb硬盘的最大写性能。对于一个42U集群，我将拥有40个主动捕获单元和两个热备用，以全双工方式捕获理论最大值100G (25,000 MB/s)。我将使用具有高分辨率(4 ns)时间戳的标准tcpslice实用程序合并生成的二进制捕获文件。

该系统占用了1。25个机架，建造成本至少25万美元。如果我使用两个存储集群，每个方向的流量，流量重放将加倍。我可以添加更多的存储集群和主机，以扩展到任何级别的流量，而不会有太多的更改。

我有一种感觉，这是美国政府捕获海量数据速率连接方式的缩小版，因为根据斯诺登的文件，他们已经这么做了很多年，似乎没有其他合理的方式，因为:

• 使用SSD没有意义，因为在这样苛刻的环境中，它们的使用寿命会很短。
• 使用RAM磁盘作为缓冲区没有意义，因为它不支持对磁盘的连续行速率捕获，只支持突发。

有意义的是使用FPGA NIC来删除不吸引力的流量并捕获对磁盘的有趣流量。但这将击败100％捕获到磁盘的目的，并不允许完全交通重放。

我提出的系统还支持在客户选择的数据库系统中进行长期的索引存储。我建议使用tshark遍历二进制捕获文件，动态地将它们转换为ASCII，并保存在高性能数据库中。

Vision Omega具有长期可搜索存储功能，似乎与斯诺登披露的XKEYSCORE系统非常相似。根据幻灯片上的XKEYSCORE联邦调查局的棱镜幻灯片在美国，他们在世界各地有大约150个网站，至少有700台服务器，这意味着每个网站占据了互联网的很大一部分，但不是全部。这可能会花费数百亿美元，但它可以用我提出的方法完成。

当然，执行这一系统有许多挑战。这是一个起点，不是终点，你必须从某个地方开始。我欢迎并鼓励大家的评论，因为如果我的金融合作伙伴出资建造这个设备，我将会在很长一段时间里汗流浃背，请直接联系我Deverioct@raellic.com.