IF関数を入れた複数セルをSUM関数で集計しましたが、結果が「0」と表示されてしま...

IF関数を入れた複数セルをSUM関数で集計しましたが、結果が「0」と表示されてしまいます。集計するためにはどうしたらよいでしょうか？

Excel2003で勤務表を作っておりましたが、IF関数とSUM関数でつまづいてしまいました。
どうか解決案をご教授願います。

まずは複雑ですが、順を追って説明いたします。

勤務形態には「早番」「日勤」「遅番」「公休」があります。
1日から31日まで管理するため、【A2】～【AE2】に入力規則で「早番」「日勤」「遅番」「公休」をプルダウンで選べるようにしました。

勤務時間は勤務形態によって異なり、1日目【A2】が
・「早番」「日勤」であれば8時間勤務
・「遅番」であれば5時間勤務
というように、【A3】にIF関数を用いて勤務時間の数字が反映されるよう、下記数式を入力しました。
=IF(A2="早番",8,"")&IF(A2="日勤",8,"")&IF(A2="遅番",5,"")
なお【A2】が「公休」の場合は【A3】は空欄で良いため、とくに数式には入れておりません。
これを1日から31日まで同じように表示するため、上記数式を【AE3】までオートフィルでコピーしました。

ここからが問題なのですが、
勤務時間の合計を算出するため、【AF3】にSUM関数を用いて、下記数式を入力しました。
=SUM(A3:AE3)
すると、【A3】～【AE3】に数字が反映されているにもかかわらず、結果が「0」になってしまいました。

原因は【A3】～【AE3】の数字が文字列として認識されているためだと思います。
【A3】～【AE3】に入れたIF関数の数字は「""」で囲っておりませんが、
数字がセル左詰めになっているところや、[関数の因数]のダイアログボックスの表示結果を見る限り、
やはり文字列として認識されているようです。
セルの書式設定で表示形式を「数値」にしてみても変化はありませんでした。
IF関数に文字列や空白文字列があると、数字もつられて文字列として認識してしまうのでしょうか。
これを解決する方法がわかりません。

また、ためしに【AF3】に
=A3+B3+C3……+AE3
と足し算を入れてみたりもしましたが、【A2】～【AE2】に「公休」があると、空欄に反応してかエラーを引き起こしてしまいました。

このような感じで、いじればいじるほど混乱しております…。

上記のIF関数を入れたセルを集計するためには一体どうすればよいのでしょうか。
IF関数の結果が文字列として認識されている時点で、IF関数の扱い方が間違っているのかもしれません。
その場合は、併せてご指摘いただけると助かります。

どうか解決できるようご教授をお願いいたします。