Leta 1311 se omenja kot “der taeber mit der vest zer Ainoede”.
Leta 1440 je grad razdejal celjski vojskovodja Jan Vitovec v vojni med Celjani in Habsburžani. Gašperjev sin Jurij-Jörg je po uničenju gradu pozidal novo grajsko stavbo onstran reke Krke, utrjeno s stolpi in obzidjem (danes so tukaj ruševine dvorca Soteska).
Leta 1444 se omenja kot “haws an der Aynod” ali “hauss in der Aynod”.
Leta 1506 je bil grad opuščen.
Leta 1679 je bil že v razpadajočem stanju.
Dostop do gradu je zelo verjetno zapiral še en dodaten stolp, v virih omenjen kot “der höch öder turren”.
Po Valvasorju naj bi grad obdajalo trojno obzidje in krona stolpov. V skalo je imel vsekane ječe, kjer so zapirali in mučili ujete Turke. Ti so mu nadeli poseben naziv “Zeleni grad”.
Konec 15. stol. je lastnik gradu Jurij Širski v ječo zaprl svojo hči, ker se je proti njegovi volji zaljubila v učitelja.