泥臭いやり方なので正しいやり方かどうかわからないけど、こんな感じでいけた。

$("#test").dialog({
  title : "モーダルダイアログのテスト",
  width : 100,
  height: 100,
  modal : true,
  open  : function() {
    $(this).find('input, textarea').blur();
  }
});

open時にコールバック関数を指定して、ダイアログの中のinputタグ、textareaタグにあたったフォーカスをblurで外してる。
「focus : true/false」みたいなプロパティがあるといいんだけど。