麻生太郎副総理兼財務大臣は、6日の記者会見ですぐさまこの点を攻撃した。麻生財務大臣は「こちら(日本)が『大丈夫か』と2度も3度も尋ねたのに、韓国は『大丈夫』といってスワップを中止した。『今まで必要ないと言っておいて、なぜ頼むのか。正式にスワップを要請するという文書をもってこい』と言った」と語った。
外務省も、長嶺安政・駐韓日本大使と森本康敬・釜山総領事を一時帰国させた。日本政府が駐韓日本大使を呼び戻すのは、12年8月に李明博(イ・ミョンバク)大統領(肩書は当時。以下同じ)の独島(日本名:竹島)訪問に抗議して武藤正敏・駐韓日本大使を召還して以来、4年半ぶりだ。
専門家らは、安倍政権のこうした動きについて、韓国大統領選挙で反日が主要な争点にならないよう、あらかじめくさびを打ち込もうとする狙いがあるものと分析した。重村智計・早稲田大学名誉教授は「慰安婦合意は国家間の約束であって、韓国の野党候補も、いざ政権に就くとなれば『慰安婦合意をひっくり返そう』と言う可能性は低い。本当にひっくり返そうとしてきても、日本が応じなければそこまで」「それでも韓国で慰安婦合意の再検討という主張が出るのは、(大統領選挙で)これで人気を得ようとする行動であって、前もって日本の意思をはっきり示す必要があるという見解が日本政府内にある」と語った。
安倍首相の強硬な姿勢は、慰安婦合意に不満を抱く日本国内の右翼をなだめるという側面もある。「慰安婦は戦時に行われた特殊な売春。日本だけが売春をやったわけでもないのに、敗戦国という理由で戦後70年以上も謝罪を強要されている」「韓国は歴史を利用して国際社会で日本に恥をかかせ、どうかすると合意をひっくり返す」というのが右翼の主張だ。環太平洋パートナーシップ協定(TPP)が白紙になり、ロシアと進める領土返還交渉が壁に突き当たるなど、安倍首相が進めてきた外交政策は次々と難関に直面しており、韓国を相手に強い態度を見せることが、批判的な世論をやわらげるのに役立つという分析もある。