你沒想到吧，在網絡產品中看起來最不起眼的光模塊，竟然是暴利產品！

很多時候，買一臺交換機的錢，還不如配套的光模塊多。

所以，今天我就給大家掰扯一下大廠網絡中最不起眼、卻又不可忽視的部分：連接器（Connector）。

雖然這個類別叫光模塊更通俗，但目前還是光銅互搏的時代，銅纜尤其DAC仍有一席之地，大廠里面也是同一伙人在主理，所以我們還是統稱為連接器吧。

連接器的基礎知識

我po一張表吧，大家先了解下，在大廠不同距離和場景下，什么樣的介質和連接器更適用。

結合上面的表，我們拿個具體的模塊型號「400G QSFP-DD DR4」，來詳細拆解含義↓

400G是模塊速率

表示模塊可以提供的通信速率是400Gbps，這是目前大廠網絡比較典型的速率。

QSFP-DD是模塊物理規格

SFP是這個規格系列的起點，字面翻譯是小型可熱抽插光電接口模塊（Small Form-factor Pluggable），SFP是外部電信號側“1收1發”的非并行模塊。

Q表示Quad，即4，是對SFP的電信號的數量描述，表示是4個SFP并行的模塊，表示4收4發，類似還有DSFP表示2收2發，OSFP表示8收8發。

DD，是對QSFP的修訂，DD表示Double Density，即8收8發，修訂的意思是不改變外型上的寬度和高度，并兼容QSFP模塊。

類似的還有OSFP-XD，老外規范命名上略顯隨性。

DR4是模塊的光側屬性

DR表示傳輸距離和光纖類型，即500m、單模；

SR和VR表示100m、50m多模；

FR表示2KM單模，專業人士可以通過這些參數快速分辨出使用的激光器類型、制造工藝、成本范圍。

4表示4×光通道并行，所以就很容易理解SR2、SR4、SR8、FR4的含義。

還有一種變形如800G OSFP 2×DR4，表示光模塊上有2組DR4插槽，和DR8的1組插槽是不一樣的。

也就是說這個800G更多是變成2個400G在用（不直接做成2個400G接口可能是一種宣傳上的算計）。

還有一種更科學的表示方式400G QSFP-DD56 DR4、400G QSFP112 DR4，這里的56和112表示外部單路電信號速率：

56是56Ghz PAM4調制格式可以妥妥提供50Gbps的速率，112是112G PAM4調制格式提供100Gbps的速率。

結合QSFP-DD表示8路電信號，8×50Gbps=400Gbps；QSFP表示4路電信號，4×100Gbps=400Gbps。

都是DR4說明光信號側是同樣的規格，這2個模塊又都是400G，所這2個光模塊是可以互聯的。

同樣可以互聯的還有400G QSFP112 SR8和400G QSFP-DD56 SR8，可以發現只要模塊速率一致，光側信號規格一致都可以互聯。

區別在于是電信號高的降級到光信號低的還是電信號低的升級到光信號高的。

這個升降級的關鍵就是DSP的變速能力，所以DSP是可插拔模塊中技術含量最高的器件。

有個別DSP廠商會把TOSA和ROSA的一部分集成在一起，也有硅光會把TOSA、ROSA都做在一起的方案，但這只影響成本和利益的分配，并不影響光模塊的功能。

網卡側模塊有一些特例，例如CX6 100G QSFP網卡，可以工作在QSFP28的4收4發模式，也可以工作在QSFP56的2收2發模式（雖然是QSFP，但只用2路信號），

因此可以大量看到網卡側是100G QSFP56 SR2，交換機側是100G DSFP56 SR2的情況。

下圖是比較常用的400G光模塊：QSFP-DD的爆炸圖，大家看看內部結構吧。

400G qsfp-dd光模塊爆炸圖

光模塊真正值錢的都在殼子里面，最常見的主要是3大件↓

負責電信號整形的DSP（也有叫oDSP的，o表示optical）
負責把DSP整形后的電信號轉成光信號并向光纖精準發射的發光集成TOSA
負責把光纖的光信號轉成電信號并放大發給DSP的收光集成ROSA

熟練掌握光模塊的基礎結構、光模塊規格命名參數的含義是能在大廠做互聯的基礎門檻。

如今，電信號112G PAM4已經是成熟制程了（也是目前國產芯片的上限），先進的224G PAM4即將規模商用，NV也已經發在NVLink 6發布了448G。

別看這個玩意很枯燥，但在數據通信和通信領域，這個速率是實力層面的至高皇冠。

所以在技術領域，400G QSFP112模塊和800G OSFP112模塊完全沒有高下之分。

特別是“多此一舉”的800G OSFP 2×DR4，只有集成生產成本的細微差異，這和熱鬧的資本市場嗨點并不匹配。

圖2 DR4在電信號進行合分，光信號直接采用物理并行

圖3 FR4在電信號和光信號上都有合分

圖4 SR8在電信號和光信號上都不合分

圖5 LPO光模塊取消了DSP，由外部電信號直接對接TOSA和ROSA

如圖2和圖3，DR4和FR4光模塊上有電信號的gear box，是DSP的基本功能，可以把金手指上的8*50G信號變速轉換成4*100G電信號，再驅動TOSA或者對接ROSA。

如圖2，DR4把變速后的4路100G通過TOSA變成4路物理的光信號并直接打進4芯，這就叫物理并行。

反向的ROSA到DSP方向也是一樣的，好處是可以把物理并行光纖進行拆分，可以把400G拆分成2×200G端口或者4×100G端口。

如圖3，FR4把4路100G通過TOSA變成4路不同波長的光信號，進行合波（光模塊內部有很小的光器件進行合分波，因此FR4的封裝成本要比DR4高）后打進1芯，就無法拆分端口，但纖芯數量小，可以節約長距離通信的纖芯租賃費用。

如圖4，SR8在電信號和光信號上都不做變速、合封裝，因此可以不使用DSP，可以使用性價比更高的CDR，其獨特的VSCEL激光器也在成本上更有優勢，SR8由于是物理并行，所以也可以和DR4一樣進行連接拆分（如圖6）。

如圖5，LPO光模塊則進一步簡化，把成本占比顯著的CDR和DSP都取消了（和無源銅纜DAC一樣），由外部電信號直接驅動光收發模塊。

特點是光模塊成本進一步降低，但缺點是要求外部電信號的完整度很高。

當前交換機的PCB設計，并不一定可以保證所有端口在各種復雜工況下都可以做到較好的電信號完整度，所以并未能得到很好的普及。

圖6 400G qsfp-dd使用并行光纖拆分成2 × 200G示意，DR4也是類似

硅光為什么會流行？

如今互聯網大廠也好，數通大廠也好，都在推硅光，究竟是為啥？我還是直接上圖吧↓

圖7 硅光代替了T/ROSA的PD、TIA、Driver等器件

圖8 DSP大廠MARVELL的硅光相對分散器件優勢介紹

硅光Silicon Photonics簡稱SiPho或者SiPh，利用了硅的數字邏輯處理能力和光電效應，實現了電、光信號的翻譯。

可以把多個T/ROSA的分立器件合并成1個，這可以極大簡化光模塊生產環節的復雜操作，降低光模塊生產過程中的封裝成本：

PD，Photonics Detector，收光方向的探測器，把光信號還原成電信號；

TIA，跨阻放大器，把PD還原后的電信號進行放大，便于DSP進行處理；

Driver，激光器驅動，把DSP發出的電信號進行放大，以驅動激光器產生對應的光信號

硅光的優勢是提升集成度、降低制造成本，只要是能降低成本的技術，大廠都是趨之若鶩的。

既然談到硅光，那就不能不講CPO，畢竟大廠要求極致的功耗、密度。

圖9 隨著帶寬需求上漲，光收發器件與信號源越來越近

在LPO模塊中了解到，LPO模塊由于輸入電信號完整性在實際應用中并不可靠。

所以工程師們就會自然地想到，如果把電光TOSA、光電ROSA離信號源更近就可以解決電信號完整度的問題。

而且越近的銅走線可以天然地支持更高速的信號，同時硅光的發展也可以把T/ROSA緊密地封裝成1個硅器件，硅器件就天然地可以和同是硅芯片的邏輯處理信號源封裝在一起。

CPO（Co- Packaged Optics，即字面意思合封裝光模塊）就是這個理論的產物↓

TOSA、ROSA合在一起，叫光引擎Optical Engine簡稱OE，負責電、光信號的翻譯。

OE通過不同的封裝方式，可以和信號源有不同的距離，最佳方案就是3D CPO，目前成熟應用應該是2.5D CPO。

OE主要實現信號調制，其光功率不足夠傳遠，所以需要外置激光器提供高功率的光源。

由于激光器故障率相對較高，所以這些激光器通常做成交換機面板可插拔的模塊形式，1個激光器可以提供如16、32路光通道光源。

OE把外置光源調制成光信號后通過光跳線接到交換機面板，交換機連接光纖的面板就像是配線架一樣簡陋。

這種光跳線接駁的方式會帶來額外的信號插損，對多模信號影響會比較明顯，通常為了具備相對大范圍的使用場景，會做成類似DR4單模物理并行的方式。

需要注意的是，CPO也不是100%好，而是有適合使用的場景。

所有端口都工作在DR模式且沒有DSP的變速功能，如果需要不同距離靈活接入、前向后速率兼容的通用DCN場景就不那么普遍合適了（可能個別角色如模塊核心合適）。

幸好現在的Scale-Out網絡就是這種純粹的密集互聯場景，所以我們可以看到老黃發布的Spectrum6交換芯片是CPO形態的，就是專打Scale-Out場景。

話外音：好家伙，老黃連光模塊的錢都不讓別人賺了。

CPO的好處主要是性能方面的，成本優勢是理論上和間接的，如CPO因電信號傳輸距離短可以降低整體功耗，同時規避了DSP的成本支出。

之所以是理論上，原因是CPO和處理邏輯芯片耦合了，被廠商徹底綁定。

大廠針對這種情況通常是再找一個能做交換芯片和CPO的大廠與之抗衡，只是換了個戰場。

大廠連接器決策邏輯

基本原則：滿足性能、功能的前提下，降低成本。

1、端口類型

直接上結論：看看服務器主流網卡的接口的電信號規格是什么樣，交換機就選什么樣的。

比如服務器是CX6網卡100G QSFP56，電信號是2路50G，那么交換機也選擇2路50G的100G端。

這樣的好處是可以直接用DAC，同時可以避免端口拆分，因為拆分意味著交換機端口的爆炸半徑至少是單端口的2倍甚至4倍，可靠性是網工的第一優先。

為什么不要求光模塊物理規格一樣呢？

因為交換機是以端口多為特點，需要考慮面板尺寸能不能放下這么多端口。

所以CX6網卡是100G QSFP56 SR2，而交換機可以是100G DSFP56 SR2，DSFP尺寸緊湊，可以讓1U高的交換機面板上布置48個100G端口。

而且以中國龐大的光通信產業能力，100G QSFP-DSFP這種2端模塊物理規格不一致的，不管是DAC還是SR2 AOC的生產都不在話下。

到了CX7是主流了，CX7網卡是2×200G QSFP112 VR2或者單口400G QSFP112 VR4。

那么接入交換機最好就是用400G QSFP112 VR4，既可以直連400G也可以拆分后支持200G。

這里交換機為什么做200G端口的？原因是在112G時代的交換機芯片常見容量是51.2Tbps。

51.2T可以做成128 × 400G QSFP112端口，4U高的交換機在布線、散熱上都有比較成熟的方案。

如果做成256個200G，需要做成6U甚至8U高，芯片到面板端口最長距離比4U會延長，電信號完整度會下降，不利于通信性能。

這是可以解釋國外品牌非常喜歡2U甚至1U高的盒子（2U高64×800G OSFP112、1U高32×1.6T OSFP-XD112）的原因

交換芯片的MAC規格表示可以做出多少個L2端口，51.2T這一代，通常達不到256個，所以也無法工作在256×200G的形態，因此128×400G就是最合適的選擇。

2、可以接受的拆分場景

不建議拆分的原因是會擴大故障場景的爆炸半徑，如果拆分后不會影響可靠性，反而可以提升可靠性呢，那絕對是可以的。

比如HPN網絡的多平面組網場景，不管是網卡還是交換機都會把800G拆成4×200G來使用。

這種打散后的連接在任意端口故障時都只會損失對端的1/4性能。

這樣干可以有效地分散故障爆炸效應，如圖13：

圖13 多平面組網的端口拆分及光纖連接

這種原理圖是好畫的，但如果實際布線會是一場災難。

先拆分后組合的交叉布線邏輯會急劇增加施工復雜度并讓工時大幅上升，為了簡化布線復雜度，會使用光纖shuffle box代替現場拆分互聯，如圖14。

圖14 預先按規則配置拆分和組合的光纖shuffle box

圖15 使用Shuffle Box簡化布線連接

這種mini的配線架簡化布線，理論上可以減少信號插損，但缺點也是有的↓

不同交換機到服務器走線距離不同，Shuffle Box使用的光纖長度需要規劃，或者統一較長的長度并提供盤纖裝置以調節長度。

故障替換，需要把Shuffle Box打開，或者完整替換，替換的邏輯要比不拆分的方式更為復雜。

根據原理，shuffle box就是光纖+理線邏輯，生產線上多一道理線工序，成本并不會增加很多，是一個非常靠譜的選擇。

3、光模塊的軟性規格

前面講的都是硬的部分，其實大廠對光模塊最狠的要求還是軟性規格，基本上網絡設備的管理拉平：

具備標準的I2C接口，便于交換機和服務器使用標準的方法讀取光模塊的EEPROM信息，交換機和服務器讀取后以telemetry的方式吐到網管平臺進行分析，產生告警、資產巡檢、質量預測等等。

支持通過I2C接口對光模塊進行固件升級。

光模塊EEPROM不同的頁面必須包含哪些信息，通常是CMIS標準：光模塊的生產信息和資產信息；實時的狀態如溫度、電壓、收發光功率、收發OSNR和ESNR、糾前和糾后BER（誤碼率）等。

要求各個光模塊廠商一致，便于標準化管理。

在技術規格中，出廠的糾前BER也在Scale-Out組網中變得重要，糾前誤碼率越小，意味著光模塊的容錯空間越大。

因為實際的機房環境并不是完全潔凈的，布線過程中沾染細小的灰塵顆粒、光纖端面磨損等等現象是常見的。

而Scale-Out網絡但凡中斷一下，都是影響昂貴的使用時間，這也是NV強烈推薦其原廠光模塊的原因（據說，其原廠模塊經過了BER篩選，哈哈哈，就是太貴）。

最后還是要說一句，光模塊的暴利時代已經過去了，當下最好的理財產品其實是內存。