Območje Tolmina je bilo podarjeno v fevd oglejskemu patriarhu leta 1001.
Prva posredna omemba gradu sega v leto 1065 v patriarhovi pogodbi o desetini.
Grad in grof se neposredno omenjata leta 1188.
Leta 1194 se omenja kapelica sv. Martina na gradu Tolmin.
Konec 13. stol. in v začetku 14. stol. je grad Tolmin osvojila Goriška vojska kar trikrat.
Oglejski patriarh Raimondo della Torre je letno rezidenco leta 1292 preselil v spodnji “grad” v Tolminu, imenovan La corte, Dvor ali Dor (Lokacija zgradbe je bila arheološko potrjena leta 2020).
Leta 1348 je bil grad poškodovan v potresu.
Leta 1420 je bil spodnji “grad” v izredno slabem stanju in je Tolminski grad ponovno pridobil pomembnejšo vlogo.
Leta 1511 je bil grad poškodovan v potresu.
Leta 1554 je grad pogorel, ker je vanj udarila strela.
Leta 1559 je grof Thurn sezidal dva velika zbiralnika za deževnico, ki sta vidna še danes.
Konec 16. stol.so na gradu potekala obnovitvena dela.
Leta 1608 je grad prenavljal Dorenberžan Vid Gašper.
Leta 1651 je bil grad opuščen, ker si je lastnik Peter Anton Coronnini zgradili renesančni dvorec na “Brajdi”v naselju Tolmin.
Lastnik grajskih posestev, tolminski glavar grof Jakob Anton Coroninni je svojevoljno od kmetov pobiral davke in za nasilno izvrševanje pošiljal svojega izterjevalca Jakoba Bandela. Bandel je marca 1713 zaprl skupino Tolmincev in s tem pospešil izbruh kmečkega upora. Uporniki iz Tolmina in Gorice so se junija 1713 spopadli z oblastjo pri Solkanu, kjer so bili premagani. Za kazen so 72 upornikov zaprli v ječe in jim odvzeli lastnino, 11 upornikov pa so na Travniku pri Gorici obsodili na smrt.
Nekaj let pred prvo svetovno vojno je bil med ruševine gradu postavljen štirinadstropni betonski opazovalni stolp. Med vojno je vojska stolp uporabljala za obrambo tolminskega mostišča. Zaradi tega so Italijani s Kolovrata močno obstreljevali grajski hrib in s tem naredili veliko škode.
Leta 1964 je Zavod za spomeniško varstvo Gorica pričel z odkrivanjem ruševin na hribu. Bogate najdbe ob izkopu hrani danes Tolminski muzej. Domneva se, da je grad pozidan na prazgodovinski utrjeni postojanki.
Po legendi naj bi patrijarh Pagano della Torre, leta 1319 gostil v svojem spodnjem gradu slavnega italijanskega pesnika Danteja Alighierija (Božanska komedija). Izvestno pa nam je znano, da je boravil u Tolminu patrijarh Markvard Randeški, ki je izdal 8. augusta 1377 listino za faro Sevnico na Štajerskem.