之前建了两台VM，测试了下Soft-RoCE，但当时忘记抓包了，想打开再发些流量，发现详细步骤已经忘记了。。。所以这次还是把步骤记录下来，后面不断完善，防止下次忘记。

Topology

注：为了避免麻烦，我使用的是比较新的ubuntu 22.04.2，这里面自带iproute2和perftest，以及相应的Soft-RoCE的包；

                     192.168.123.130
┌────────────┐             ┌────────────┐
│ ubuntu1    ├─────────────┤ ubuntu2    │
│ rdma1      │             │ rdma2      │
└────────────┘             └────────────┘
    192.168.123.129

部署Soft-RoCE

最近看到老东家发布了一篇很有意思的文章：Building an SRv6 uSID Data Center Fabric with SONiC，使用Sonic 构建基于SRv6 Fabric的DC架构。SRv6一般常用于骨干网和DCI，并且需要依托于BGP -> IGP迭代。其实之前在考虑城域网架构时，就思考过是否可以利用SRv6的高级特性，根据业务需求分割两个平面进行独立承载，但设备厂商提供的解决方案都是依托于IGP，而非Only BGP环境。最近阿里云在一些场合发布他们新的Peering架构ePF时提到过SRv6 only BGP，再结合这篇文章，没想到提前在Sonic Switch上先实现了，真的让人惊讶与开源社区的迭代速度。

这篇文章主要尝试下Sonic Switch，记录遇到的问题及解决方法。并测试SRv6实现到了什么程度，是否可以直接替代现有BGP Only的DC架构。PS：全部实验均是通过PNET搭建并验证，Sonic版本是从上面 那篇文章中下载的，基于202305版本，相关配置命令可以看那篇文章提到的github，以及FRR和Sonic的官方文档，为了方便，我列到了下面：

• https://github.com/segmentrouting/srv6-labs/tree/main/sonic-vs
• http://docs.frrouting.org/en/latest/zebra.html?highlight=json
• https://github.com/sonic-net/SONiC/blob/master/doc/srv6/srv6_hld.md

拓扑环境

      Ethernet0┌─────────┐Ethernet1
     ┌─────────┤   L2    ├──────────┐
     │         └─────────┘          │
     │Ethernet2                     │Ethernet2
┌────┴────┐                    ┌────┴────┐
│ POD1-L1 │                    │ POD2-L1 │
└────┬────┘                    └────┬────┘
     │Ethernet1                     │Ethernet1
     │                              │
     │Ethernet1                     │Ethernet1
┌────┴────┐                    ┌────┴────┐
│ POD1-L0 │                    │ POD2-L0 │
└────┬────┘                    └────┬────┘
     │Ethernet2                     │Ethernet2
     │                              │
     │eth2                          │eth0
 ┌───┴───┐                       ┌──┴────┐
 │  S1   │                       │  S2   │
 │ Server│                       │ Server│
 └───────┘                       └───────┘

注意：

我的Blog主要是记录并总结一些遇到的问题及解决方法，或是自己的技术积累，其实并不需要HTTPS，但每次打开网站总能看到标题栏提示不安全，这也不是很爽，所以一直想启用HTTPS，但一直没有实施。最近正好有些时间，所以就把这个搞定了，但其实也是遇到了很多问题，在此记录下来。

HTTPS认证过程

首先看下HTTPS的认证过程，我使用电脑通过4G联网访问我的网站，把报文抓了下来，来简单展示认证的几个关键过程，以了解其工作原理（不做详细介绍）：

背景

EVE NG的订阅费又涨了，记得2021年还在犹豫要不要在黑五下单1年的pro版本（如果没记错，应该是600多），现在已经1000多了，我就很无语……1000多为啥不买思科的VIRL……，对于我们这种个人付费的用户来说，着实有些贵了。之前朋友一直安利PNET，这回正好尝试下。

区别

其实我到现在也没弄明白PNET和EVE NG的关系，对于使用感受来说，PNET ≈ EVE NG Pro + 一些新功能（比如支持不关闭仿真设备直接变更连线，类似VIRL2），但PNET又不具备一些EVE的高级功能，如集群部署。可是为什么EVE 可以允许PNET免费开放这么多pro的功能？暂时就没有追述原因了；

EVE NG Community的使用问题

• 我的使用环境是隔离的Lab环境，无法连接外网，访问EVE NG Comunity的GUI，感觉会非常慢，开始我一直觉得是跳板机性能不行，但后来发现不是，就像有些进程一直在尝试联网但导致了超时，从而影响了体验；
• 现在新增仿真设备时，图标总是启动状态，导致无法编辑，必须连续启动好几个，找没有启动的图标……这个真的很烦人，跟朋友讨论后，应该是一个EVE 的Bug……
• EVE NG有很多好用的功能是不包含在Community中的，比如配置保存（有些仿真设备是不支持的）等，这些其实挺影响使用的；

Background

实验环境打算用trex打流，然后用下面环境测试cable，但物理server配置好路由后，发现只能收路由，不转发流量，我们确认已经开启了ipv4转发的指令，路由也是正常的，但就是不work，所以我在EVE NG的环境上搭了一个类似的环境，确认下是否是trex本身的问题；

# sysctl -a |grep net.ipv4.conf.all.forwarding
net.ipv4.conf.all.forwarding = 1

对于trex内容，请看我之前的相关文章：http://www.zhaocs.info/tag/trex；