築城年代は定かではないが吉田治郎左衛門重氏によって築かれたと云われる。 吉田重氏は尾張守護職斯波氏の一族という。

重氏の後は嫡男吉田内記守氏が継いだが、斯波氏が織田信長によって滅ぼされると自身は隠居して入道長英と名乗り、子の元氏が継いだ。吉田元氏は永禄11年(1568年)に伊勢国大河内城攻めで討死した。家督は子の吉田九郎左衛門が継ぎ、織田信雄に仕えたという。

岩塚城は現在の遍慶寺一帯に築かれていたという。山門脇に石碑が建つのみで遺構はないが、かつては堀跡が残っていたという。