期待を裏切らずに裏切り続ける
1564年に昌綱が上杉家に降伏してから2年の間に、上杉家は北条家だけでなく信濃(現・長野県)の武田家との戦い、また越中(現・富山県)の一向一揆との戦いが激化します。関東地方への進軍がままならなかった上杉家の間隙を突くように、北条家が再び勢力拡大を図ってきます。
こうした北条家の圧迫を受ける形で昌綱は1566年、期待を裏切らずに上杉家を裏切り、またも北条家の側につきます。
背信を繰り返す昌綱に対し謙信は翌1567年2月、もう何度目かと言いたくなるような唐沢山城奪回を図り、進軍してきました。この時は折からの降雪を受け攻略を一旦断念するも、翌3月に再度攻め寄せ、いつも通り佐野昌綱を降伏へと追い込みます。
ただ、この時も謙信は背信を繰り返す昌綱の命までは取らず、なぜか降伏をすんなり受け入れています。
その後、北条家と武田家の同盟が崩壊し、逆に北条家と上杉家の間で同盟関係ができたことを受け、北関東を巡る攻防は幾ばくの落ち着きを見せるようになります。しかしこの間にも昌綱は上杉家に背いて北条家へと鞍替えしており、1570年1月に唐沢山城は上杉家から攻撃を受けています。しかし、この時も冬の到来により、上杉軍は攻略し切れず撤退しています。
その後、昌綱は1574年に死去するまで北条家に与しながら、生きている間は佐野家の所領を最後まで守り切りました。