これに困ったのが昌綱をはじめとする上杉家に従った関東の諸将たちでした。関東に拠点を置く彼らは、謙信の撤退によって勢力を盛り返した北条家に逆にターゲットとされてしまいます。頼みとする上杉家は武田家との抗争のため援軍を送れず、事実上、関東地方で孤立無援となった昌綱は、上杉家を裏切る形で北条家に降伏しました。

　しかし、昌綱が居城とした唐沢山城（からさわやまじょう、栃木県佐野市）は関東支配における重要な拠点であり、北条家と争う上杉家としては、なんとしてでも確保しておく必要のある拠点でした。

　そのため武田家との抗争に一旦ケリをつけると、謙信は1561年12月、この地を奪回すべく、昌綱が籠る唐沢山城へと攻め込みます。

　しかし1回目の攻撃は積雪によって撤退に追い込まれ、翌1562年3月の2回目の攻撃でも堅固な唐沢山城を落とし切れず、謙信は2度にわたり撤退することになりました。

恭順、そしてまた裏切り

　1563年、関東地方における勢力挽回を期して、謙信は再び遠征を行います。この時の上杉軍の勢いは凄まじく、北関東の諸城を次々と陥落させており、この破竹の勢いを見た昌綱は上杉家に再び恭順しました。