調べて見たら以下のページに直し方が書いてありました。
Birds Of a Feather スタートメニューの「インターネット」アイコン化け
【直し方】
スタートメニューの「ファイル名を指定して実行」をクリックする。
regedit と入力し「OK」を押す。
以下のレジストリ キーに移動する。
HKEY_LOCAL_MACHINE\SOFTWARE\Clients\StartMenuInternet\IEXPLORE.EXE\DefaultIcon
右側のウィンドウで(既定) エントリをダブルクリックし、値を修正する。
修正前
C:\Program Files\Internet Explorer\iexplorer.exe,-7
修正後
C:\Program Files\Internet Explorer\iexplorer.exe,-32528
これで直りました。