Tokei-dži založila v roku 1285 mníška Kakusan ni, ktorá bola vdovou po Hodžo Tokimune (1251-1284), regentovi Kamakurského šógunátu (1192-1333). Pôvodne bol kláštorom pre mníšky, ale stal sa útočiskom pre ženy, ktoré ich manželia týrali. Keďže v tých časoch ženy nemali právo žiadať o rozvod, šógúnát určil Tokei-dži ako útulok pre takéto ženy.
Ak žena v chráme strávila tri kalendárne roky, mala právo byť rozvedná so svojim manželom. Takto si tento chrám získal svoju prezývku “Rozvodový chrám”. Ako Rozvodový chrám slúžil do 19. storočia.
