2016年12月28日
機械学習モデルを推定する方法
|
| Tweet |
最近は学習済みの機械学習モデルを外部からアクセスできる状態にしているサービスが増えて来ていますが、
その脆弱性に関する研究もあります。
Stealing Machine Learning Models via Prediction APIs
Florian Tramer EPFL
Fan Zhang Cornell University
Ari Juels Cornell Tech, Jacobs Institute
Michael K. Reiter UNC Chapel Hill
Thomas Ristenpart Cornell Tech
機械学習モデルは機密情報のような物であるが、モデルの挙動は抽出出来るかもしれない。
それはどのような攻撃方法かと言うと、ブラックボックスアクセスであっても、学習モデルのパラメータまたはデータに関する事前の知識がない攻撃者はモデルの機能を複製する（すなわち、「盗む」）ことを目的とする。
古典的学習理論の設定とは異なり、今日のサービスでは、特徴ベクトルを入力として受け取り、予測値を含む信頼値を返している。
これを踏まえれば、ロジスティック回帰、ニューラルネットワーク、決定木などの一般的なモデルクラスにはほぼ完全な学習モデルを抽出出来る効率的な攻撃方法を提案することが出来る。
BigMLとAmazon Machine Learningのオンラインサービスに対するこれらの攻撃を実証した。
さらに、モデル出力から信頼値を省略するという自然な対策でさえ、依然として潜在的に有害なモデル抽出攻撃を許す。
本論文では、学習モデルの配置と、新しいモデル抽出対策の必要性を強調している
「Monetize」とは、ユーザーがモデルへのブラックボックスアクセスを他のユーザーに課金すること
まず信頼性の値を返す予測APIに注目した抽出攻撃方法
ここでは logistic regressions (LR), neural networks, and decision trees を、対象としている。
多くの機械学習モデルは、入力xと実数値モデルパラメータの連続関数としてクラス確率を計算している
この場合、このクラス確率を示すAPIは、未知モデルパラメータの方程式として見ることができる
サンプル (x, f(x)) を敵に提供する事になる
簡単な出発点として、ロジスティック回帰（LR）のケースを検討する
LRはそのシンプルさと効率性のため最も一般的な二値分類器の一つであり、多くの分野で広く活用されており、table2全てのサービスでサポートされている。
その脆弱性に関する研究もあります。
クラウドで提供されている機械学習APIからモデルを盗む話。こういう攻撃もあるのか / “Stealing Models from the Cloud ? Data Skeptic ? Overcast” https://t.co/jKWlAj7ZPe
— chezou (@chezou) 2016年10月29日
Stealing Machine Learning Models via Prediction APIs
Florian Tramer EPFL
Fan Zhang Cornell University
Ari Juels Cornell Tech, Jacobs Institute
Michael K. Reiter UNC Chapel Hill
Thomas Ristenpart Cornell Tech
機械学習モデルは機密情報のような物であるが、モデルの挙動は抽出出来るかもしれない。
それはどのような攻撃方法かと言うと、ブラックボックスアクセスであっても、学習モデルのパラメータまたはデータに関する事前の知識がない攻撃者はモデルの機能を複製する（すなわち、「盗む」）ことを目的とする。
古典的学習理論の設定とは異なり、今日のサービスでは、特徴ベクトルを入力として受け取り、予測値を含む信頼値を返している。
これを踏まえれば、ロジスティック回帰、ニューラルネットワーク、決定木などの一般的なモデルクラスにはほぼ完全な学習モデルを抽出出来る効率的な攻撃方法を提案することが出来る。
BigMLとAmazon Machine Learningのオンラインサービスに対するこれらの攻撃を実証した。
さらに、モデル出力から信頼値を省略するという自然な対策でさえ、依然として潜在的に有害なモデル抽出攻撃を許す。
本論文では、学習モデルの配置と、新しいモデル抽出対策の必要性を強調している
「White-box」とは、訓練されたモデルをローカルでダウンロードして使用すること
Machine learning services.
A number of companies have launched or are planning to launch cloud-based ML services.
A common denominator is the ability of users to upload data sets, have the provider run training algorithms on the data, and make the resulting models generally available for prediction queries.
table2
Service White-box Monetize Confidence Scores Logistic Regression SVM Neural Network Decision Tree
Amazon x x ○ ○ x x x
Microsoft x x ○ ○ ○ ○ ○
BigML ○ ○ ○ ○ x x ○
PredictionIO ○ x x ○ ○ x ○
x ○ ○ ○ ○ ○ ○
「Monetize」とは、ユーザーがモデルへのブラックボックスアクセスを他のユーザーに課金すること
4 Extraction with Confidence Values
まず信頼性の値を返す予測APIに注目した抽出攻撃方法
ここでは logistic regressions (LR), neural networks, and decision trees を、対象としている。
4.1 Equation-Solving Attacks
多くの機械学習モデルは、入力xと実数値モデルパラメータの連続関数としてクラス確率を計算している
この場合、このクラス確率を示すAPIは、未知モデルパラメータの方程式として見ることができる
サンプル (x, f(x)) を敵に提供する事になる
4.1.1 Binary logistic regression
簡単な出発点として、ロジスティック回帰（LR）のケースを検討する
LRはそのシンプルさと効率性のため最も一般的な二値分類器の一つであり、多くの分野で広く活用されており、table2全てのサービスでサポートされている。
ロジスティック回帰は
であるから、
w およびβを回収するためには、d + 1個のサンプルが必要十分である（xが線形独立である場合）
これは機械学習モデルサービスへの単一のバッチ要求（だけ）で得ることが出来る。
この抽出攻撃は非常に単純だが、検討した全てのクラウドベースのサービスに、致命的な結果をもたらす可能性がある。
モデル構築学習の際は（データD） D>>d の大規模データを使って学習するのに
わずかd+1回のアクセスでモデルを再現でき、そのモデルは課金モデルである場合もあるので、 お金を払ってでもモデルを盗む価値はある。
重要なのは、抽出コストが| D |とは独立していることです。
この攻撃は、マルチクラス（c> 2）のLRや、
Deep neural networkを含む「ロジスティック」レイヤーを持つすべてのモデルクラスに広く適用出来る。
multiclass logistic regression（MLR）は、それぞれがパラメータwi biを有するcバイナリモデルを組み合わせてマルチクラスモデルを形成する。
検討したすべてのサービスでMLRが利用可能であった。
.......................
訓練方法、組み合わせには softmax と one-vs-rest (OvR)の二種類があり
ソフトマックスでは、全ての学習データに連結多項分布を適合させる。
OvRモデルは、各クラスに対して別個のLRを学習し、クラス確率を正規化する。
このアプローチは自然にdeepニューラルネットワークにも拡張できる。
まず、非線形変換をすべての入力（hidden layer）に適用する。
そして変換された空間でsoftmax回帰を適用する多層パーセプトロン（MLP）を考える。
抽出攻撃の実例としてのAmazon Machine Learningの例
Amazon Machine Learningではロジスティック回帰を使っていると明記してあるので、
https://aws.amazon.com/jp/machine-learning/details/
................................
................................
ここまでに示したように機械学習モデルはブラックボックスアクセスでも盗み出すことが可能である。
................................
本論分で提案する防御法は、信頼度を固定精度に四捨五入する事
精度を制限すると、
方程式解法攻撃の場合、
得られた結果は、目標fではなく、その一部を切り捨てた物になるから
学習モデルを保護するためのメカニズムとして、
Differential privacy (DP) [DWORK, C. Differential privacy. In ICALP (2006)] とその変種
[LI, N., QARDAJI, W., SU, D., WU, Y., AND YANG, W. Membership privacy: A unifying framework for privacy definitions. In CCS (2013), ACM.]
が提案されている。
アンサンブル手法をターゲットとして実験していませんが、攻撃者はターゲット関数の比較的粗い近似しか得ることができないという意味で、抽出攻撃に対してより弾力性があると考えられます。
それにもかかわらず、アンサンブル手法はモデル回避などの他の攻撃に対して脆弱である可能性がある。
................................
| |
であるから、
w およびβを回収するためには、d + 1個のサンプルが必要十分である（xが線形独立である場合）
これは機械学習モデルサービスへの単一のバッチ要求（だけ）で得ることが出来る。
この抽出攻撃は非常に単純だが、検討した全てのクラウドベースのサービスに、致命的な結果をもたらす可能性がある。
モデル構築学習の際は（データD） D>>d の大規模データを使って学習するのに
わずかd+1回のアクセスでモデルを再現でき、そのモデルは課金モデルである場合もあるので、 お金を払ってでもモデルを盗む価値はある。
重要なのは、抽出コストが| D |とは独立していることです。
4.1.2 Multiclass LRs and Multilayer Perceptrons
この攻撃は、マルチクラス（c> 2）のLRや、
Deep neural networkを含む「ロジスティック」レイヤーを持つすべてのモデルクラスに広く適用出来る。
multiclass logistic regression（MLR）は、それぞれがパラメータwi biを有するcバイナリモデルを組み合わせてマルチクラスモデルを形成する。
検討したすべてのサービスでMLRが利用可能であった。
.......................
訓練方法、組み合わせには softmax と one-vs-rest (OvR)の二種類があり
ソフトマックスでは、全ての学習データに連結多項分布を適合させる。
OvRモデルは、各クラスに対して別個のLRを学習し、クラス確率を正規化する。
A common method for solving such a system is by minimizing an appropriate loss function, such as the logistic loss.
With a regularization term, the loss function is strongly convex, and the optimization thus converges to a global minimum (i.e., a function ^f that predicts the same probabilities as f for all available samples).
A similar optimization (over class labels rather than probabilities) is actually used for training logistic models. Any MLR implementation can thus easily be adapted for model extraction with equation-solving.
このアプローチは自然にdeepニューラルネットワークにも拡張できる。
まず、非線形変換をすべての入力（hidden layer）に適用する。
そして変換された空間でsoftmax回帰を適用する多層パーセプトロン（MLP）を考える。
抽出攻撃の実例としてのAmazon Machine Learningの例
5 Online Model Extraction Attacks
5.2 Case Study 2: Amazon Web Services
Amazon Machine Learningではロジスティック回帰を使っていると明記してあるので、
https://aws.amazon.com/jp/machine-learning/details/
Amazon Machine Learning では、スケーラブルで堅牢な業界標準の ML アルゴリズムの実装を使用しています。Amazon Machine Learning を使用すると、開発者は、バイナリ属性（バイナリ分類）、カテゴリ属性（複数クラス分類）、数値属性（回帰）の値を予測するモデルを作成できます。たとえば、バイナリ分類モデルを使用してウェブサイトのコメントがスパムであるかどうか（「はい」または「いいえ」など）を予測できます。複数クラス分類モデルを使用すると、カスタマーサービスのリクエスト（「請求」、「技術サポート」、「注文ステータス」など）の転送先を予測できます。回帰モデルを使用すると、アプリケーションまたはサービスに関するお客様からの次の問い合わせが何日後に来るかを予測できます。4.1 の方法で、モデルを再現できる。
................................
................................
7 Extraction Countermeasures
ここまでに示したように機械学習モデルはブラックボックスアクセスでも盗み出すことが可能である。
................................
本論分で提案する防御法は、信頼度を固定精度に四捨五入する事
精度を制限すると、
方程式解法攻撃の場合、
得られた結果は、目標fではなく、その一部を切り捨てた物になるから
学習モデルを保護するためのメカニズムとして、
Differential privacy (DP) [DWORK, C. Differential privacy. In ICALP (2006)] とその変種
[LI, N., QARDAJI, W., SU, D., WU, Y., AND YANG, W. Membership privacy: A unifying framework for privacy definitions. In CCS (2013), ACM.]
が提案されている。
アンサンブル手法をターゲットとして実験していませんが、攻撃者はターゲット関数の比較的粗い近似しか得ることができないという意味で、抽出攻撃に対してより弾力性があると考えられます。
それにもかかわらず、アンサンブル手法はモデル回避などの他の攻撃に対して脆弱である可能性がある。
................................