鎌倉での義時と頼朝
際だった武功を挙げていない義時だが、頼朝にとっては信頼の置ける人物であったようだ。『吾妻鏡』養和元年（1181）4月7日条によれば、頼朝の寝所警備のために「弓矢に優れ、隔心のない者」が11人選抜されている。その中に「江間四郎（えまのしろう）」の名が見られるが、これは義時を指す。
江間とは、狩野川を挟んだ北条の地の対岸の地名である。義時は挙兵後、頼朝からこの「江間」の地を与えられ、江間小四郎義時（えまのこしろうよしとき）を称していたという。
頼朝と義時にまつわる有名なエピソードに「亀の前事件」がある。亀の前とは、伏見弘綱の屋敷に住む頼朝の愛妾だ。美しいだけでなく、心も柔和な女性であったという。頼朝は政子の妊娠中に、この亀の前と親密になったのだが、その事実を時政の妻・牧の方が、政子に伝えた。
『吾妻鏡』寿永元年11月10日条によれば、激怒した政子は、牧の方の父・牧宗親に命じて、亀の前の住む伏見弘綱の屋敷を破壊させている。亀の前と弘綱は、大多和義久（おおたわよしひさ）の屋敷に逃げ込んだ。
二日後、騒ぎを知った頼朝は、義久の屋敷を訪れ、牧宗親と伏見弘綱を召した。そして、自らの手で牧宗親の髻を切り、「政子を尊重するのは良いが、このようなことはまず、私（頼朝）に相談すべきだ」と責めたてている。当時、髻を切られるのは大変な屈辱であった。
牧宗親は、北条時政の舅にあたる。時政は頼朝の仕打ちに反抗し、頼朝に無断で、伊豆に帰ってしまった。
このとき義時は、父と行動をともにせず、鎌倉に残っていた。それを知ると頼朝は義時を呼び出して「汝は、きっと子孫の護りとなるであろう」などと激賞し、「賞を与える」とまで口にしている。義時は何も答えず、「かしこまりました」とだけ言って退出したという。
建久3年（1192）9月25日には、義時は頼朝の計らいで、比企朝宗の娘・姫の前を妻に迎えている。比企朝宗は、頼朝の流人時代を支えた比企尼の近親者とされる。
姫の前は幕府の官女で、大変に美しく、頼朝のお気に入りであった。義時は姫の前に思いを寄せていたが、色よい返事が貰えずにいた。そこで頼朝が姫の前に「絶対に離縁しない」という起請文（誓約書）を義時に書かせたうえで、義時と結婚するように命じたのだという。
もっとも頼朝は、単に義時のために一肌脱いだのではなく、妻・政子の実家である北条氏と、伊豆時代から支えてくれた比企氏とを結びつけ、両家が嫡男の源頼家を支えることを期待していたともいわれる。
だが、頼朝の望みは叶わず、義時の「離縁しない」という誓いも破られることになる。
正治元年（1199）正月、頼朝が急死すると、鎌倉は、御家人たちの血で血を洗う抗争の時代へと突入し、義時もまた、その争いの渦にのみ込まれていくのであった。
