治承４年(1180)５月に起きた以仁王の乱で源頼政が敗死すると、代わって伊豆国の知行国主となったのは平時忠でした。「平家にあらずんば人にあらず」という発言で知られる平清盛の義弟です。

それまで国主であった頼政は摂津源氏の武将で、治承２年(1178)には従三位に叙され、武門源氏初の公卿昇進を果たした人物です。清盛と良好な関係を築く一方で、武門源氏一門に対する保護も行い、孤児らを養子として迎えています。北条義時の父・時政は、現地で行政の実務を担当する在庁官人として、国主である頼政に仕える立場にありました。系統は違えど源氏が国主であったことは、流人生活を送る河内源氏の源頼朝にとっても都合がよかったでしょう。