アプリケーションを削除して、以降使えなくなったら本末転倒です。
というか、質問の問題を起こしている根本的な原因がわからないということは、どのアプリケーションを削除していいのかもわからないのですが。
どの時点からかわからないと、具体的な解決方法は提示しにくいので対処療法ですが、
USBメモリや外付けHDDを繋いでE:に割り当てられたら、「ディスクの管理」でドライブ名をE:以外にしてみるという方法があります。
但し、質問のアプリがドライブに関係なく外付けメディアに対してフォルダを作るものであると、この方法でも対処できませんが。
本当にWALKMANの関係の問題なら「SonicStage V」か「WALKMAN Guide」の設定だと思うのですが…
あなたの思ったこと、知っていることをここにコメントしてみましょう。