以下の書き方だと、

$('<div>').append('<ul>').append('<li>')

こうなってしまうので、

<div>
  <ul></ul>
  <li></li>
<div>

こう書くのが正しい。

$('<div>').append($('<ul>').append('<li>'))

以下のように欲しい形になる。

<div>
  <ul>
    <li></li>
  </ul>
<div>