面倒な事に発展する確率は高いです。
今やネットで色々な物が売られていますし、簡単に手に入る時代にはなりましたが、違法成分が含まれたものも多く存在しています。
海外で合法であっても日本では非合法のものや売る為に嘘を書いて売る人も居ますし、他の回答者が書いてる通り違法の物を別の容器に入れ替えて持ち運ぶ人も多く居るので警察官が怪しめば成分の検査をする手続きをされる事もあります。
職務質問は、任意ですが、対象者が断ったからと言って警察は、協力をする様に説得する事は最高裁の判例でも認めています。
任意だから断れはいいと思うかもしれませんが、違法薬物の可能性が高いと判断した時は、警察官は一度署に戻り強制手続きをする為に書類作成してから裁判所に発布をして貰います。
令状が執行されれば強制調査に切り替わりますので、徹底的に調べますのでそう簡単に帰れる訳ではありません。
何も出て来なくて時間を無駄にされても警察は謝罪なんて一切行いません。
理由は、裁判所が認めた上で執行してるので警察には責任がないという考えです。
ただ正当性のある損害は国賠が出来ますので手続きして認められたら税金の一部からお金が支払われますが、警察はあくまでも法を遵守した上での行動ですので謝罪はありません。
日本は法治国家ですので法を遵守した上で拒否されるのは結構ですが、行政や政府は手続きなどが多く面倒なところだと理解しておかないと変に断ることで時間を無駄にする事があると理解しておかなければなりません。