InfiniBand

InfiniBand（インフィニバンド）とは

InfiniBandは、信頼性（Reliability）、可用性（Availability）、保守性（Serviceability）の頭文字を取ったRAS機能に優れ、基幹系システムやハイパフォーマンスコンピューティング（HPC）環境で利用される高速I/Oバスアーキテクチャおよびインターコネクト技術です。システム間インターコネクトとして、低レイテンシを実現する点が大きな特徴です。

概要

InfiniBandは、ファイバーチャネル、PCI Express、Serial ATAなどの近年のインターコネクトと同様に、ポイントツーポイントの双方向シリアル接続を採用しています。複数のプロセッサとHDDなどの高速外部デバイス間の接続に用いられ、複数の転送レートをサポートします。また、PCI Expressのように複数のチャネルを束ねて利用することで、高速な帯域幅を実現できます。

転送レート

InfiniBandの転送速度は、Single Data Rate (SDR) の1レーンあたり最大2.5 Gbpsの双方向転送速度から始まり、Double Data Rate (DDR) では5 Gbps、Quad Data Rate (QDR) では10 Gbpsへと向上します。エンコーディング方式が変更されたFourteen Data Rate (FDR) では、1レーンあたり14.0625 Gbpsの双方向転送速度を実現します。SDR、DDR、QDRでは8b/10b変換により実効転送レートはそれぞれ2 Gbps、4 Gbps、8 Gbpsとなります。一方、FDRでは64b/66b変換により、実効転送レートは約13.6 Gbpsとなります。

さらに、InfiniBandは4本 (4X) または12本 (12X) の接続を束ねることで、より高い転送速度を実現します。例えば、12XのHDR（High Data Rate）を使用した場合、最大で618.75 Gbps（raw）または600 Gbps（データ転送）の速度が可能です。2018年11月現在、HDRに対応した製品が市場に出回っており、12X接続は主にコンピュータクラスターやスーパーコンピュータのノード間接続、ネットワークスイッチ間接続に利用されています。

業界団体「InfiniBand Trade Association」のロードマップによれば、2020年後半にはHDRの2倍の性能を持つNext Data Rate (NDR) が登場予定であり、その後さらにXDR（名称未定）が提供される計画です。

レイテンシ

InfiniBandのレイテンシは、SDRスイッチで約200ナノ秒、DDRスイッチで約140ナノ秒、QDRスイッチで約100ナノ秒です。エンドツーエンドのレイテンシについては、Mellanox社のHCA（Host Channel Adapter）であるConnectXを用いたMPIレイテンシで1.07マイクロ秒、Qlogic社のInfiniPath HTXで1.29マイクロ秒、Mellanox社InfiniHost IIIで2.6マイクロ秒が観測されています。市場には多様なInfiniBand用HCAが存在し、製品によって特性は異なります。

InfiniBandは、RDMA（Remote Direct Memory Access）をサポートしており、CPUのオーバーヘッドを低く抑えることが可能です。RDMA命令のレイテンシは、Mellanox社のConnectXの場合、1マイクロ秒以下です。参考として、DDR3 SDRAMのメモリレイテンシは約0.1マイクロ秒（100ナノ秒）程度です。

ネットワーク構成

InfiniBandのネットワーク構成は、イーサネットのような階層型ネットワークではなく、スイッチ型ファブリック接続を採用しています。多くのメインフレームのチャネルモデルと同様に、すべての転送はChannel Adapter間で行われます。各プロセッサノードはHCAを持ち、各外部デバイスはTCA（Target Channel Adapter）を持ちます。これらのチャネルアダプタは、セキュリティ情報やQoS情報のやり取りも可能です。

メッセージ

InfiniBandでは、データは最大4KBの複数のパケットで構成されたメッセージとして転送されます。サポートされるメッセージ転送には、遠隔ノードのメモリに対するDMA転送によるREADとWRITE（RDMA）、チャネル転送、トランザクション命令（差し戻し可能）、マルチキャスト、不可分操作などがあります。

経緯

1990年代後半、サーバーの計算性能はムーアの法則に従って急速に向上していましたが、サーバー内のバスアーキテクチャは機械的・電気的制限により進化が追いつかず、システム全体の性能向上のボトルネックとなっていました。

このような状況下で、インテルを中心にスイッチ型ファブリックインターコネクト技術をベースとした新しいI/OアーキテクチャであるNGIO（Next Generation I/O）が提唱されました。一方、タンデムコンピューターズ社のServerNetの流れを汲むCompaq（後にHPに吸収合併）、HP社、IBM社の3社は、同様の技術をサポートしたFIO（Future I/O）を提唱しました。

1999年のIDF Spring 1999でNGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的に両陣営が歩み寄り、SIO（System I/O）として統合されることになりました。その後、2000年1月にSIOはInfiniBandに改称され、2000年10月にはInfiniBand Trade Associationにより規格書が提出され、統一規格として成立しました。2021年現在の規格はInfiniBand Architecture Specification Release 1.5です。

当初は規格のリーダー的存在であったインテルが撤退を表明しましたが、その後HPC分野を中心に広く利用されるようになりました。

現状

多くの計算機ノードを接続して構成されるHPC業界では、InfiniBandは高いシェアを誇ります。2015年11月時点では、TOP500のランキングで最も使用されている接続方法でしたが、その後中国のシステムを中心にイーサネットの採用が増え、2017年11月時点では2番手に転落しています。

InfiniBandは、各ベンダーのブレード系サーバーやグリッド系サーバーの接続オプションとして用意されています。日本での使用例としては、ヒューレット・パッカードのサーバーを使用してNECが構築した東京工業大学のPCクラスタTSUBAME2.0や、京都大学や筑波大学のT2Kオープンスパコンなどが挙げられます。ストレージ分野では、NetApp、ピュア・ストレージ、EMCなどのメーカー製品でホストI/Oのオプションとして採用されています。

脚注

InfiniBandは、高い信頼性と低遅延を必要とする高性能コンピューティング環境において、重要な役割を果たしています。

参考文献

InfiniBand Trade Association (2020), InfiniBand Architecture Specification Volume 2, Release 1.4, https://cw.infinibandta.org/document/dl/8566