Ime Tvarog naj bi izviralo po staroverskem rogatem božanstvu Tvarog (dva – rog). Grad je bil zgrajen iz dveh povezanih stolpov, katera sta štrlela ven iz skale in mogoče dajala vtis rogov. Ime tudi nakazuje na potencialno lokacijo staroverskega svetišča.
Zgodovina
1246 V listini se prvič omenja salzburški gradnik Prehtlinus de Twaroch in s tem se tudi grad prvič posredno omenja. Grad je bil v sklopu rajhenburške posesti v sevniškem uradu.
1259: Prechtelin de Tuarog (Prehtlinus de Twaroch) se ponovno omenja v darilni listini stiškega samostana.
1268: Se omenja Rambert/Rajnbert de Tuarok.
1277: Prva omemba Otona iz Tvaroga “Otto de Twarukh”.
1281: Druga omemba Otona Tvaroškega, kateri je imel za ženo Leyslo, sestro Friderika iz Wolfsaua.
1300: Rajnbert iz Šperenberka se odpove gradu Twarg, ki mu ga je izročil salzburški nadškof v oskrbo. V tej listini se tudi grad prvič omenja neposredno. Razvidno je tudi, da je ista plemiška družina upravljala gradova Šperenberk in Tvarog. *Šperenberk je od Tvaroga oddaljen 2.2 km v smeri jugozahod.
1309: Omenja se kastelan Henrik iz Gabernice “Henricus Gabernetaierius”. Henrik je bil istega leta tudi omenjen, kot grajski kastelan in poveljnik grajske straže na gradu Brežice.
1316: Se prvič omenja Wulfing Twarger.
1322: V urbarju se grad omenja kot “castrum Twarog”.
1325: Se kot poslednja svojega rodu omenja sestra Vulfinga Tvaroškega Gerwirch.
1448: Se omenjajo kmetije nad Tvarogom, brez omembe gradu. Domneva se, da je grad propadel že v srednjem veku. Na terenu se še vedno lepo vidita obrambna jarka stolpov. Grad je varoval tudi bližnji izpostavljen stolp z okroglim obrambnim jarkom.
1937: Omenja se lokacija Pristova, kar nakazuje na lokacijo potencialne grajske pristave.