木曽義仲は、久寿元年(1154)に武蔵国で生誕したといわれています。父・源義賢は為義の次男、つまり、頼朝の父・義朝の弟に当たる人物です。無官で坂東に下った義朝とは異なり、義賢は皇太子を警護する東宮帯刀先生とうぐうたちはきせんじょうに任じられ、嫡男の座を与えられていました。しかし、京で失策を犯したため解官されて、仁平３年(1153)に上野国へ下向。ついで、武蔵国に進出しますが、久寿２年(1155)８月に頼朝の兄・義平に討ち取られてしまいます。このため、義仲は信濃国木曽に逃れ、この地で成長しました。
『吾妻鏡』〈治承４年(1180)９月７日条〉によると、義仲が挙兵したのは、頼朝が挙兵した翌９月のことです。当初は、父・義賢の足跡をたどるように上野国に向かいますが、頼朝との衝突を嫌い、北陸へと進出して勢力を広めていきました。