ご推察の通り、いちいち手動で削除する必要があります。「読み取り専用属性」は・・・過去のサムネイル表示を保存するだけになりますので、つける意味がないですね。

また、このファイル、結構動作が不安定です。
［F5］キー押下のリフレッシュや「最新の情報に更新」が効かなくなることもあります。消したはずのファイルのサムネイルが表示されたりするんです。その場合は、サムネイル表示が不正なアイコンを右クリックして「縮小版を最新の情報に更新」を選ぶことで、このアイコン表示のみがリフレッシュされて正しいサムネイルが表示されるようになります。

が・・・・こんな不安定な機能はいらねーや、とおっしゃるのでしたら、Vixなどの専用アプリケーションに乗り換えられたほうがいいかな。機能のわりに動作が軽くてオススメです。
http://www.katch.ne.jp/~k_okada/vixintro/
webページや*.emlファイルのサムネイル表示はできませんけど。