レジストリをいじらずにインストールするある方法を思いつきました

iniファイルだと大きさの制限があったり、各ソフトのフォルダ毎に散らばっているので一元管理できないという理由から、レジストリという仕組みが導入されました。要はiniファイルの後継です。レジストリとiniファイルのどっちを使うかは、ソフト設計時に決めるものであって、レジストリがないからiniにする…という方法を採るくらいなら、最初からiniだけにした方がよっぽど簡単ですっきりしますよ。

また、iniファイルを使うソフトでも、起動時に自分用のiniファイルが見つからない場合は自ら生成するように作るのが普通であり、レジストリも同じことが言えます。つまり、せっかくレジストリ情報だけ消しても、exeを起動した途端に生成されてしまい、その努力と時間は無駄になるおそれが強いと言えるでしょう。

すでに他の回答者さんから説明があるとおりで、レジストリは動作する上で必要だから書き込んでいるのであって、用もないのに書いているわけではありません。

#1です
文節の切り方が悪かったため誤解を与えたようですが、
アプリケーションのインストール時に、レジストリに情報を書き込むって事は、
そのアプリケーションではレジストリに記録した情報を使用したいからです。
で、そんな情報を消してアプリケーションが正常動作するのか？ってことです。

レジストリを消しても正しく動作するって言うのなら、
レジストリは何のために存在してるのか。って事です。

システムの復元は、位置や拡張子で決められたファイル群を強制的に上書きするだけでしかありませんので、事後の不整合にはユーザーが別途対処する必要があります。

>２．インストールされたファイル・フォルダを外部ストレージ(USBメモリーなど)へコピーする。
ここです。
ここでインストールされたファイルやフォルダの位置情報もレジストリに記述されますが、ご質問の手順だとこの位置情報をOSが見つけることができなくなります。
復元後はこういう不整合が発生し、*.exeはおそらく動作しません。レジストリのみならず、必要なDLLも存在しないため、メニューが開かなかったりメニュー内の項目が動作しなかったりするでしょう。
さらに関連づけが失われていますので、作成したファイルのダブルクリックで当該アプリケーションを起動させることができません。
そして最後にアンインストール作業（レジストリのみではなく、不要なDLLの削除作業もあります）をマトモに完遂させることはできないでしょう。ひょっとすると上書きして再インストールすることすらかなわなくなるかもしれません。

> この手順でレジストリは元のままでファイル・フォルダだけインストールすることは可能なんでしょうか。

何を持って「インストールされた」とするか？次第では？

対象のファイル・フォルダがHDDにコピーされる事をインストールと呼ぶのなら、インストールされた事になるのでは。

> レジストリは全く変更していないことになるのでしょうか？

変更した後に、元に戻した事になると思います。

--
例えば、あるアプリケーションは起動時にレジストリに記録されているフォルダからファイルを読み出し、その設定に従って動作するとかであれば、エラーが出て起動しないかもしれないし、適当な初期状態で起動するかも知れないし。

多くのWindowsアプリケーションは、レジストリに情報が無い場合には、プログラム内に規定している差しさわりの無さそうな規定値に基づいて動作します。
結果、動作しないアプリケーションもあるし、それなりに動作するものもあるし、通常はそうならないような既定値を設定しますが、異常な動作するって事もあり得ます。

また、アプリケーションの終了時に、その際の規定値をレジストリに書き戻す場合がありますので、インストールの時にどうこうって事を気にしても意味無い場合もあります。

あの。。
そのアプリケーションが登録したレジストリを参照するときはどうするんでしょうか？