BLOGTIMES
« :: »
2021/11/12

ConnectX-3 を ESXi 7.0 で使う

  networking  40GbE  esxi  mellanox 

Mellanox Technologies ConnectX-3 10ギガビットイーサネットカード MCX354A-QCBT

今日はHP Infiniband 649281-B21（Mellanox ConnectX-3 VPI MCX354A-QCBT*1 の OEMHP Mellanox Reference Guide）を ESXi 7.0 のマシンに取り付けて、ついでにファームウェアも最新版にアップデートしてみました。

ちなみに ESXi 7.0.3 で ConnectX-3 VPI は そのままでもちゃんと NIC として認識はされます。

† ユーティリティのインストール

Mellanox の NIC の設定を変更したり、ファームウェアの更新を行うためには Mellanox Firmware Tools (MFT) という専用のユーティリティをインストールする必要があります。

サイトから zip をダウンロードして ESXi の /tmp に配置し、以下の要領でインストールします。

1
2
esxcli software vib install -d /tmp/Mellanox-NATIVE-NMST_4.17.0.106-1OEM.700.1.0.15843807_18549811.zip
esxcli software vib install -d /tmp/Mellanox-MFT-Tools_4.17.0.106-1OEM.700.1.0.15843807_18672675.zip
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

インストール後に再起動が必要なので、ESXi ホストを再起動します。

† ファームウェアのアップデート

以下のコマンドでデバイスや NIC の情報が帰ってくることを確認します。
このとき PSID の内容を確認し、OEM 製品と純正製品の対応に間違いがないかを再度確認しておきます。

1
2
/opt/mellanox/bin/mst status
/opt/mellanox/bin/mlxfwmanager --query
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

今回は MCX354A-QCBT のファームウェアを以下から取得して、ESXi ホストの /tmp に配置しておきます。

以下の手順でファームウェアをアップグレードし、ESXi ホストを再起動します。

1
2
# 649281-B21 -> MCX354A-FCBT
/opt/mellanox/bin/flint -d mt4099_pci_cr0 -i /tmp/fw-ConnectX3-rel-2_42_5000-MCX354A-FCB_A2-A5-FlexBoot-3.4.752.bin -allow_psid_change burn
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

† 設定の変更

再起動が完了したら以下のコマンドでポートを Ethernet に、SR-IOV を有効*2に設定しておきます。

1
/opt/mellanox/bin/mlxconfig -d mt4099_pciconf0 s SRIOV_EN=1 LINK_TYPE_P1=2 LINK_TYPE_P2=2
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

最後に設定をもう一度して完了です。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
[root@esxi:~] /opt/mellanox/bin/mst status
MST devices:
------------
mt4099_pciconf0
mt4099_pci_cr0
[root@esxi:~] /opt/mellanox/bin/mlxfwmanager --query
Querying Mellanox devices firmware ...
Device #1:
----------
Device Type: ConnectX3
Part Number: MCX354A-FCB_A2-A5
Description: ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6
PSID: MT_1090120019
PCI Device Name: mt4099_pci_cr0
Port1 MAC: ************
Port2 MAC: ************
Versions: Current Available
FW 2.42.5000 N/A
PXE 3.4.0752 N/A
Status: No matching image found
[root@esxi:~] /opt/mellanox/bin/mlxconfig -d mt4099_pciconf0 q
Device #1:
----------
Device type: ConnectX3
Device: mt4099_pciconf0
Configurations: Next Boot
SRIOV_EN True(1)
NUM_OF_VFS 8
LINK_TYPE_P1 ETH(2)
LINK_TYPE_P2 ETH(2)
LOG_BAR_SIZE 3
BOOT_PKEY_P1 0
BOOT_PKEY_P2 0
BOOT_OPTION_ROM_EN_P1 True(1)
BOOT_VLAN_EN_P1 False(0)
BOOT_RETRY_CNT_P1 0
LEGACY_BOOT_PROTOCOL_P1 PXE(1)
BOOT_VLAN_P1 1
BOOT_OPTION_ROM_EN_P2 True(1)
BOOT_VLAN_EN_P2 False(0)
BOOT_RETRY_CNT_P2 0
LEGACY_BOOT_PROTOCOL_P2 PXE(1)
BOOT_VLAN_P2 1
IP_VER_P1 IPv4(0)
IP_VER_P2 IPv4(0)
CQ_TIMESTAMP True(1)
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
by hsur at 18:46 [5年前][4年前][3年前][2年前][1年前] |
こんな記事もあります 「Available PSID PXE」
・LVM + ext4 のディスクをオンラインのまま拡張する
・RHEL 9 が間もなく登場
・Ubuntu 22.04 LTS が登場
・Google が円周率の日に Serverless Pi API についての取り組みを発表
・さくらのクラウドのシンプル監視が Teams への通知に対応
・Firefox が Microsoft Store からインストールできるように
・Office 2021 は 10 月 5 日リリースに
・OpenSSH は次期リリースから ssh-rsa を無効化
・Thunderbird 91 にアップデート
・wsl がコマンドラインからインストールできるようになってた
トラックバックについて
Trackback URL:
お気軽にどうぞ。トラックバック前にポリシーをお読みください。[policy]
このエントリへのTrackbackにはこのURLが必要です→https://blog.cles.jp/item/12855
Trackbacks
このエントリにトラックバックはありません
Comments
愛のあるツッコミをお気軽にどうぞ。[policy]
古いエントリについてはコメント制御しているため、即時に反映されないことがあります。
コメントはありません
Comments Form

コメントは承認後の表示となります。
OpenIDでログインすると、即時に公開されます。

OpenID を使ってログインすることができます。

Identity URL: Yahoo! JAPAN IDでログイン

« :: »
Copyright © 2004-2022 by CLES All Rights Reserved.