激安10G NIC – Mellanox ConnectX-2 on CentOS 7でSR-IOVを使う

目次1 SR-IOV とは2 SR-IOV の利用条件3 SR-IOVの有効化3.0.1 total_vfs3.0.2 port_type_array3.0.3 num_vfs3.0.4 probe_vf 覚書っていうのと、ConnectX/ConnectX-2でのSR-IOV有効化の情報が少なすぎるのでまとめてみます。 ドライバーのインストール方法などはMellanoxの公式サイトからダウンロードすれば何となく分かると思います。     Canon IXY 430F (4.3mm, f/2.7, 1/20 sec, ISO1000) ちょっと前に10G NICを買いまいた。Mellanox ConnectX-2 EN というやつです。 中古で1枚3,000円ぐらいで買えます。安い! Single-Port 10G(SFP+)が使えます。 他にも仮想支援と言う名のSR-IOVという機能、その他諸々あります。 今回はSR-IOVの有効化を覚書で書き残します?     SR-IOV とは IIJさんが詳しく解説しています。 OpenStack環境でのSR-IOV活用法 – IIJ hypervisor(VMM)が処理していた要求を、NICに直接やらせて ネイティブに近いパフォーマンスを出そうといった感じです。     SR-IOV の利用条件 ・VT-x 対応のCPUとマザーボード ・SR-IOV 対応のNIC の2つが絶対条件     SR-IOVの有効化 ドライバーはCentOS7(多分CentOS5も)で標準で入ってますが このままではSR-IOVが有効化できない(Mellanoxのツール郡が入ってない)ので OFED版をインストールしてください。 [crayon-5ade61e0bd5fb844606074/] [crayon-5ade61e0bd608476857811/] [crayon-5ade61e0bd60a063236734/] [crayon-5ade61e0bd60c675659728/] [crayon-5ade61e0bd60e001207566/] [crayon-5ade61e0bd610105299424/] [crayon-5ade61e0bd612427706743/] total_vfs NICで作成可能な最大VF数 ファームウェアのバージョンによって最大数が変わる。 ConnectX/ConnectX-2の最新ファームウェアでは63が最大 実際に作成するVF数に関わらずここで設定したVF数分のMMIO領域が確保される。 BIOSによっては最大が6ぐらいだったりする。(今回使用したPCが6 GA-X58-UD3R) MMIO領域が足りないと not enough MMIO resources for SR-IOV とdmesgに吐き出されてSR-IOVが無効になります。   port_type_array 1= InfiniBand, 2 = Ethernet   num_vfs 実際に作成するVF数 もちろん total_vfs > num_vfs じゃないとエラーになります。   probe_vf 良くわかってない…。 Mellanoxフォーラムには probe_vf – is the number of VF to be probed in the hypervisor. Probed in the hypervisor means that the VF will also have … 続きを読む 激安10G NIC – Mellanox ConnectX-2 on CentOS 7でSR-IOVを使う