但工藤家的人却不干了，加之北条时政也有意无意地在一旁煽风点火，工藤家便坚决要求处死曾我五郎时致。源赖朝没有办法，只好下令将曾我五郎时致就地斩首。

这次事件被称为“曾我兄弟复仇事件”，该事件中，源赖朝尽管同情曾我兄弟，可是却因为工藤家的阻挠而处死了曾我五郎时致。同时，此事件还牵涉其岳父北条时政，但源赖朝并未深究。

对于曾我兄弟复仇的幕后主使，有北条时政黑幕说，另一个则是源范赖黑幕说。

曾我时致本人是北条时政亲自元服的，而且他们兄弟时常造访北条时政府邸。另外，北条时政为了准备富士野卷狩狩仓提早到达骏河国，并且，在杀死工藤祐经之后，曾我时致直接往源赖朝处去了，源赖朝甚至一度想要亲自拔刀抵抗（最后被大友能直等人保护）。

有理由相信，北条时政通过自己的乌帽子子曾我时致，谋划在富士野卷狩时刺杀源赖朝，实现自己诛杀镰仓殿掌握大权的目的。

至于源范赖黑幕说的缘由也很简单——建久四年五月，赖朝猎于富士野，曾我祐成及弟时致夜入行馆，杀父仇工藤祐经。营中骚扰。镰仓讹言：“将军遇害。”赖朝妻北条氏大惊悲。范赖慰谕曰：“范赖在。假有大变，勿以为忧。”赖朝闻其言，深恶之。（引用《将军家族传一·源范赖》原文）

“嫂子别担心有我呢”，源范赖这话说得多少让源赖朝有点ptsd犯了。你这不是想让保护政子的人变成你自己嘛？北条政子是我正室，哪轮得到你个臭弟弟来指手画脚？！

再加上源赖朝尚未回归镰仓时就发生的以多气义干为首的常陆久慈郡御家人提早奔逃之事，完全不顾源赖朝的安危，抛弃了源赖朝而擅自逃散，明显违背了御家人奉公的义务，而且还是单单只有他们逃跑，别的郡的御家人都没有明文如是记载过。

由于多气义干事件发生以后，导致源赖朝开始猜忌源范赖，并迫使其写下誓书，还指责其擅用‘源氏’。

紧随其后的便是当麻太郎事件。

有一位出身于三河的源范赖郎从当麻太郎，深更半夜潜伏在源赖朝床下，被源赖朝发现，并把他揪出来了。

可这位当麻太郎却进行辩解说，我家主公确实是冤枉，镰仓殿您就是不听，所以我来申诉一下。源赖朝早听说这当麻太郎是武艺高强的勇士，便心中越发起疑，遂拷问源范赖，源范赖则称不知。

事已至此，就算源范赖不承认也无法打消源赖朝的猜忌。

建久四年，八月十七日。源范赖被流放至伊豆国修善寺永久监禁。当麻太郎本来是流放萨摩，但是中途被杀。

虽然大姬于此时生病，本不该杀生，但是源赖朝觉得罪不可宥，执意杀害。次日，源范赖的家臣橘太左卫门尉、江泷口、梓刑部丞等人就如同多气义干一样，据守滨宿馆，意欲起兵，结果被结城朝光、梶原景时、仁田忠常迅速弹压。又过了两天，曾我祐成同母异父的兄弟京小次郎因为源范赖而连坐被诛杀。又过了四天，两位老臣，大庭景义、冈崎义实“自愿”出家。

源范赖在被流放以后，有说是被刺客暗杀而亡的，也有说是被梶原景时率五百余军势突袭后自焚而亡的。

在镰仓时代末