岡崎では別居
通説では永禄5年（1562）2月、家康が上之郷城（愛知県蒲郡市）を攻略、野間口徹が演じる城主の鵜殿長照を討ち取り、そのときに捕虜とした彼の二人の息子と交換する形で、築山殿らは岡崎に引き取られたとされる。
しかし、『三河物語』や『松平記』では、このとき交換されたのは、信康（当時は竹千代）だけとなっている。
家康の外孫の松平忠明が著した(真偽は不明)といわれる『当代記』には、築山殿と亀姫は家康の岡崎帰還にともない岡崎に移り、信康は人質として駿府に居住していたと記されており、黒田基樹氏や、『どうする家康』の時代考証を務める柴裕之氏は、築山殿と亀姫は家康の岡崎帰還を受けて、岡崎に迎えられたとみられるとしている（黒田基樹『家康の正妻 築山殿』、柴裕之『青年家康』）。
いずれにせよ、築山殿は住み慣れた駿府をあとにし、岡崎に移住した。
先に述べたように岡崎での築山殿の居所は、家康の本拠である岡崎城ではなく、城下の「築山」という場所だったと伝えられる。
いつから、なぜ、築山で暮らすようになったのか、はっきりとしたことはわかっていない。
永禄4年（1561）、家康は敵対していた信長と和睦し、今川家から離叛した。
今川家御一家衆の関口家の娘である築山殿は、夫の離叛をどのように感じたのだろうか。
家康の正妻から信康の母へ
永禄6年（1563）3月には信長との関係を強化するため、当時5歳の信康と、信康と同じ年齢とみられる信長の娘･五徳（岡崎殿）が婚約したとされる（婚姻は永禄10年が通説）。
元亀元年（1570）には、信長の勧めもあり、家康は本拠を岡崎城から浜松城（静岡県浜松市）へ移した。
築山殿は、家康に同行しなかった。岡崎城の城主となった息子の信康とともに、岡崎に残ったのた。
以後、築山殿は「家康の正妻」としてよりも、「岡崎城主・信康の母」として扱われるようになった（小川雄・柴裕之編著『図説 徳川家康と家臣団』）。
岡崎で、築山殿が関わっていたとされる「大岡弥四郎事件」が起きるのは、5年後の天正3年（1575）のことである。
