Maltdown緩和策前後のmacOS 10.12.6 Sierraベンチマークの結果です。詳細は以下から。
Appleは現地時間2018年01月23日に公開した「OS X 10.11.6 El Capitan」および「macOS 10.12.6 Sierra」向けの「セキュリティ・アップデート 2018-001」で、Intel CPUの投機的実行を利用しユーザーの情報を窃取するMeltdown脆弱性についての緩和策を行ったと記載していますが、
これにより、AppleがHigh Sierraで導入した新しいファイルフォーマットAPFSの影響を受けずに、Meltdown緩和策前後のパフォーマンスをチェックできる環境が出来たので、早速前回のベンチマークに加えて「セキュリティ・アップデート 2018-001」(Meltdown緩和策)後のmacOS 10.12.6 Sierra Build 16G1212とmacOS 10.13.3 High Sierra Build 17D47のベンチマークを追加し、比較してみました。
UnixBench
まず初めに、先のベンチマークでHigh SierraのMeltdown緩和策後、PipeやSystem Call処理に大きなスコア低下が見られた「UnixBench」をMeltdown緩和策前後のSierra環境でも行ってみました。1CPU/4CPUでのIndex Scoreは以下の通りで、見て分かる通りSierraでもMeltdown緩和策前後で約20%程度のパフォーマンスの低下が起こっています。
| Test | macOS 10.12.6 (16G1114) | macOS 10.12.6 (16G1212) | macOS 10.13 (17A405) | macOS 10.13.1 (17B1003) | macOS 10.13.2 (17C205) | macOS 10.13.3 (17D47) |
|---|---|---|---|---|---|---|
| 1CPU | 869.1 | 624.5 | 678.0 | 667.3 | 548.2 | 555.3 |
| 4CPU | 1848.2 | 1476.5 | 1254.5 | 1252.1 | 1243.6 | 1243.6 |
| Link | Gist | Gist | Gist | Gist | Gist | Gist |
これをMeltdown緩和策の前後比(パッチ後/パッチ前)にして、どのテストがスコアを下げているかを見ていくとやはり、SierraでもHigh Sierraや他のLinux環境同様、Pipe ThroughputやSystem Call Overheadのスコアが著しく低下しており、File Copy処理についても20%程度スコアが低下しているのがわかります。
- Pipe Throughput
512Byteのデータをパイプ処理しこれを繰り返し実行することでスループットをテスト。 - Pipe-based Context Switching2つのプロセス間を更新される値をパイプで受け渡すことで、プロセスのコンテキストスイッチを実行するテスト。
- System Call Overheadgetpid()というプロセスIDを返す単純なシステムコールを繰り返し実行するテスト。
| Test | macOS 10.12.6 (16G1114) | macOS 10.12.6 (16G1212) | macOS 10.12.6 Melt/macOS 10.12.6 | macOS 10.13 (17A405) | macOS 10.13.3 (17D47) | macOS 10.13.3 Melt/macOS 10.12.6 Melt | macOS 10.13.3/macOS 10.13 | Unit | |
|---|---|---|---|---|---|---|---|---|---|
| Dhrystone 2 using register variables | 77408321.7 | 78151030.3 | 100.96% | 77686376.9 | 77729350.3 | 99.46% | 100.06% | lps | |
| Double-Precision Whetstone | 25192.7 | 25183.2 | 99.96% | 25208.6 | 25204.0 | 100.08% | 99.98% | MWIPS | |
| Execl Throughput | 1685.7 | 1553.5 | 92.16% | 1359.3 | 1251.0 | 80.53% | 92.03% | lps | |
| File Copy 1024 bufsize 2000 maxblocks | 1175735.2 | 918974.3 | 78.16% | 257020.8 | 459416.7 | 49.99% | 178.75% | KBps | |
| File Copy 256 bufsize 500 maxblocks | 327654.8 | 249802.0 | 76.24% | 65166.8 | 134360.3 | 53.79% | 206.18% | KBps | |
| File Copy 4096 bufsize 8000 maxblocks | 3027618.3 | 2518260.5 | 83.18% | 949676.3 | 1776152.7 | 70.53% | 187.03% | KBps | |
| Pipe Throughput | 2655269.6 | 1561808.5 | 58.82% | 2625888.8 | 1529401.4 | 97.93% | 58.24% | lps | |
| Pipe-based Context Switching | 581894.0 | 424572.3 | 72.96% | 542179.1 | 400226.8 | 94.27% | 73.82% | lps | |
| Process Creation | 5409.3 | 4838.5 | 89.45% | 5101.5 | 4312.1 | 89.12% | 84.53% | lps | |
| Shell Scripts (1 concurrent) | 6101.4 | 5426.2 | 88.93% | 5945.8 | 5427.4 | 100.02% | 91.28% | lpm | |
| Shell Scripts (8 concurrent) | 831.6 | 740.1 | 89.00% | 822.5 | 749.9 | 101.32% | 91.17% | lpm | |
| System Call Overhead | 2452298.6 | 1182814.5 | 48.23% | 2535282.6 | 1189445.4 | 100.56% | 46.92% | lps | |
| 4CPU System Benchmarks Index Score: | 1848.2 | 1476.5 | 79.89% | 1254.5 | 1243.6 | 84.23% | 99.13% |
AmorphousDiskMark
次にSSDのRead/Write性能を見るため今回もWindows PCのCrystalDiskMarkをKatsura SharewareさんがMacに移植した「AmorphousDiskMark」を利用し、ストレージ(PCIe SSD)のベンチマークを行ってみました。
ストレージベンチマークはUnixBenchのFile CopyテストやWindowsの結果からスコアが低下することを予想していましたが、Meltdown緩和策前のmacOS 10.12.6 (16G1114)を100%としてプロットすると、Meltdown緩和策後のmacOS 10.12.6の同じHFS+フォーマットと比較してRead性能が10~20%程度低下するのに対し、Write性能は40~70%程度向上するという結果になったので、AmorphousDiskMarkアプリに問題があるか、Appleが何か対策を行ったのか不明ですが、こちらに関してはもう少し調査が必要だと思われます。
Geekbench
最後に、クロスプラットフォームに対応し、AESやSQLite、HTML5 Parse/DOM、LLVM、SFFTなどの処理テストにより、システムのスコアを出すGeekbenchのベンチマークスコアですが、こちらはMeltdown緩和策により低下するテスト(処理)が無いようで、Appleの声明や開発者のJohn Pooleさんのコメント通り、macOS SierraでもMeltdown緩和策の影響を見ることは出来ませんでした。
まとめ
今回のベンチマークではAppleが現在のAPFSほど頻繁にアップデートを行っていないファイルフォーマット「HFS+」を採用したmacOS 10.12 Sierra環境でのMeltdown緩和策前後のスコアが確認できましたが、やはりMeltdown緩和策後は特定の環境でパフォーマンスが落ちるので、現在もSierra以前のmacOSを利用されている方は今後「セキュリティ・アップデート 2018-001」および「macOS 10.13.x High Sierra」の2つのアップデート/アップグレード前後でMacのパフォーマンスが変わることを頭の片隅においておくといいかもしれません。
- GeekbenchではMeltdown緩和策の影響はほぼ見られない。
- UnixBenchのPipe/System Callスコアを見る限りでは、MacもMeltdown緩和策の影響を受ける。
- NewSierraでのMeltdown緩和策によりHFS+ファイルフォーマット環境でも特定のテストでパフォーマンスの低下が見られた。
- ストレージについてはMeltdown緩和策の影響よりもファイルシステム(HFS+/APFS)の影響が大きい。
- NewSierraのMeltdown緩和策前後でのAmorphousDiskMarkベンチマークについては要検討。
*MacではmacOSとファイルフォーマット、iOSではバッテリーの劣化によるパフォーマンス問題で、AppleのプロダクトはMeltdown/Spectre脆弱性によるパフォーマンスの問題があやふやになっているという指摘もあるようです。
関連リンク
- Firmware Updates and Initial Performance Data for Data Center Systems
- Understanding the performance impact of Spectre and Meltdown mitigations on Windows Systems – Microsoft Secure
- CPU脆弱性Meltdownのパッチ適用でベンチマークスコアが25％低下した – Qiita
- 「CPUの脆弱性」対策パッチで，ゲーム性能はどれだけ低下するのか。Intel製CPUを使って取り急ぎ現状を確認してみた – 4Gamer.net
- CPUの脆弱性対策パッチでSSDのランダムアクセスが大幅減速？影響をチェックしてみた – AKIBA PC Hotline!
