しかし1564年2月、謙信が下野（現・栃木県）を離れるや、昌綱は突如また反旗を翻します。前述の通り、唐沢山城は関東支配における重要拠点であり、この反乱は上杉軍にとって大きな痛手でした。そのため、その年は関東で越年していた謙信は昌綱の反乱を放置せず、すぐ取って返して攻め寄せてきました。

　この時の唐沢山城の攻防は、両者における最大の激戦となり、上杉軍も文字通り全力で攻め立てたと言われます。唐沢山城の堅固さによって戦いは長引いたものの、北条家の援軍がやって来ず、本丸まで落とされたことから最終的に昌綱は降伏を余儀なくされ、上杉家の軍門へと再び下りました。

1年間に2度の裏切り

　こうして関東地方において上杉家が勢力を再び盛り返したのもつかの間、北条家と同盟を結ぶ武田信玄が再び川中島へと進軍してきます。謙信がこれに対応するため関東を離れ、武田家との5度目となる川中島の合戦（1564年）に臨む中、鬼の居ぬ間とばかりに北条家が北関東の支配奪回に乗り出してきます。

　ここに至り、もはやテンプレ化してきましたが、昌綱は1564年8月、この年2度目となる謙信への裏切りを行い、北条家にまたまた恭順します。

　しかし唐沢山城は前述の通り重要な拠点であるため、謙信が10月に急いで軍勢を率いて奪回しに来るや、昌綱は今回はあっさりと上杉家に降伏しました。

　さすがに謙信も度重なる配信行為に腹に据えかねていたのか、この時には昌綱から人質を取っています。この人質は効果があったのか、この後は昌綱も上杉家に対する臣従を続けます。わずか2年間だけですが。