あまりまとまった情報が見つからなかったので、自分用にまとめたメモです。

Microsoft Learnの情報から、GPUが使えるVMについて雑にまとめました。

Azureで使用できるGPU搭載VMについて

• AzureではGPUが搭載されたVMの名称はNから始まりますが、NDIVIA社のグラフィックボードが搭載されているとは限りません。

• なお、初期設定ではクォータが1つも割り当てられていないので、使用する前に必ずクォータ増加の要求を送信する必要があります。

• Azure Machine Learningのコンピューティングでも同じVMが選択肢として表示されますが、クォータは別カウントなので、Azure MLで割り当てられていてもAzure VMで使用する場合は改めてリクエストを送信する必要があります。

以下は、時間あたりのコストが安い順に並べています（料金は9月21日時点のもの）。

NC4as_T4_v3 （￥91/時）

NC8as_T4_v3 （￥130/時）

NC16as_T4_v3 （￥208/時）

これらはNCasT4_v3 シリーズで、NVIDIA Tesla T4 GPUが搭載されています。T4といえば、Colabの無料プランで使用できるGPUですね。4、8、16はそれぞれvCPU（仮想CPU）のコア数を表しています。

GPU数は1枚なので、推論時に必要となるVRAM（GPUメモリ）はいずれも16GBです。

NC6s_v3 （￥537/時）

NCv3 シリーズの6vCPUモデルで、NVIDIA Tesla V100 GPUが搭載されています。ColabのプレミアムGPUのA100じゃないほうです。

こちらはvCPUが6コアで、GPUは1枚、VRAMは16GBです。

VRAMはNCasT4_v3シリーズと同じですが、Tensor Cores数が320→5,120、メモリ帯域幅が320GB/s→900GB/sと性能が大きく異なります。そのため、コストも跳ね上がります。

ファインチューニングのような学習用途では良い一方、LLMのシンプルな推論に使用するにはオーバースペックかもしれません。

NC24ads_A100_v4 （￥682/時）

NC_A100_v4 シリーズの24 vCPUモデルで、NVIDIA A100 PCIe GPUが搭載されています。A100はColabで使用できる最上位GPUです。

vCPUは24コア、VRAMは80GBです。

NC64as_T4_v3 （￥752/時）

NCasT4_v3 シリーズの最上位のVMサイズで、T4が4枚搭載されています。そのため、使用できるVRAMも64GiBと跳ね上がっています。

NC48ads_A100_v4（￥1,363/時）

A100が搭載されたNC_A100_v4 シリーズの48 vCPUモデルで、VRAMは160GBです。

NC24s_v3 （￥2,147/時）

NC24rs_v3 （￥2,362/時）

どちらもNCv3 シリーズの24vCPUモデルで、V100 GPUが搭載された最上位モデルです。24rsのほうはRDMA（リモート ダイレクト メモリ アクセス）に対応しています。

NC96ads_A100_v4 （￥2,727/時）

NC_A100_v4 シリーズの96 vCPUモデルで、A100が使えるVMサイズの最上位です。

A100を贅沢に4枚搭載し、そのVRAMは320GB。1ヶ月つけっぱなしにしとくと200万円も請求されます。ただ、A100は1枚で$11,000（約163万円）なので、電気代込みと考えるとコスパは悪くないかもしれません。電気はこまめに消しましょう。

参考記事