工場出荷時の状態というと、ユーザープロファイルエリアも新規に作り直しましたか？
そうでないとすれば、そこにOfficeインストール時の一時ファイルが残っている可能性があります。

早速のご回答、ありがとうございます。
すみません、「ユーザープロファイルエリア」っていのは、何でしょうか？
DELLで購入したので、サポートセンターに電話して聞きました。その際、同じユーザーでと言われましたが、それを変えるということでしょうか？
工場出荷状態と再セットアップは、違うのでしょうか？

下記説明でわかりますでしょうか？
『Windows Vista のユーザプロファイル(2) 』
http://itcw3.naist.jp/news/2008/080801_132700_how_to/index.html
つまり、C:\Users\ユーザーフォルダ以下のプロファイルデーターはフォーマットしない限り残ります。
試しに現状で新規ユーザーアカウントを作成してインストーラが起動しなければ
現ユーザーアカウントでのみ発生している現象といえます。

今、新規ユーザーを作成し、やってみました。
同様に、インストーラーが起動してきます。

失礼しました。
全ユーザー用プログラム一時ファイルは下記以下のフォルダに格納されています。
C:\ProgramData

Office2003をインストールしたのであればOffice11フォルダがあると思うのでそれを削除する。