フォルダを作成しただけではビルド先のディレクトリにコピーされません。
ソリューションエクスプローラで、コピーしたいフォルダ内のファイルを選択します。プロパティの「出力ディレクトリにコピー」を「常にコピーする」または「新しい場合はコピーする」にします。コピーが必要なファイル全てにこれを行ってください。ビルド後、出力フォルダにファイル及びフォルダがコピーされたか確認してください。
また、実行時のExeファイルのパスはSystem.Windows.Forms.Application.StartupPath
で取得したほうが良いと思います。（カレントディレクトリは実行時に変わることがあるので）
あなたの思ったこと、知っていることをここにコメントしてみましょう。