Dvor se prvič pojavi v pisnih virih leta 1433, ko se omenja njegov lastnik salzburški fevdnik Gašper Puchler. Istočasno se tudi prvič omenja sama vas, kot “Rakabitz”.
Leta 1815 so lastniki Attemsi dvoru spremenili namembnost v brežiško grajsko pristavo.
Leta 1943 so območje Rakovca in del Sloganskega preimenovali v “Neulag” (Novi Log na Kočevskem), kar je spadalo pod občino Altlag (Kapele), zaradi naseljevanja Kočevarjev.
Na območju Rakovca so arheologi našli predmete iz mlajše kamene dobe, kar nakazuje na poselitev področja že vsaj 4000 let.
Sredi grajskega posestva je stal 500 let star kostanj, kateri je bil preventivno požagan v letu 2015, ker je bil votel. Leta 1825 je še viden ribnik in ob njem razkošni vrtovi, ki pa so bili odstranjeni. Ohranjen je samo še star vodnjak.
Legende:
Po pričanju domačinov naj bi v devetdesetih letih odstranili skromne ruševine dveh stolpov na bližnjem polju, ker so razširjali njivo.
Lastniki:
1433: Salzburški fevdnik Gašper Puchler
1492: Martin Mordachs
? : Hans Goder
1573: Krištof Winkler ga dobi v fevd od krškega škofa