Dis vanselfsprekend dat die oudste gebou in Suid-Afrika, wat steeds in gebruik is, ’n paar spoke sal huisves, veral ’n fort soos dié waar honderde aangehou en gemartel is. ’n Besoek aan die Donker Gat, waar gevangenes in stikdonkerte en koue moes sit, sal enigiemand rillings gee, en kan op ’n toer van die Kasteel besoek word.
Een van die spoke wat al hier gesien is, is ’n hartseer grys dame wat ook al in die Tuynhuys gesien is, want daar is blykbaar ’n geheime tonnel wat die twee geboue verbind. Nadat ’n vrou se geraamte in die 1900’s naby die kasteel se ou uitvalpoort opgegrawe is, is die dame se spook egter nog nie weer gesien nie – haar identiteit bly ’n geheim.
Dan is daar die spook van Lady Anne Barnard wat graag in die Dolfynpoel bad en die spook van ’n groot swart hond met bloedrooi oë, wat saans in die kasteel se gange waghou. Die bekendste kasteelspook is egter dié van Goewerneur Pieter Gysbert van Noodt, ’n wrede man wat bekend was vir sy mishandeling van slawe en soldate.
Sy ongenaakbare behandeling van sy soldate het daartoe gelei dat sewe soldate in 1729 gedros het en vier van die mans toe ter dood veroordeel is in ’n hangseremonie wat Van Noodt nie eens bygewoon het nie. Na oorlewering het een van die vier mans die goewerneur luidkeels vervloek net voor sy doodsvonnis uitgevoer is. Later daardie selfde dag het knegte die niksvermoedende Van Noodt in sy studeerkamer met bloedbelope oë aangetref, morsdood by sy lessenaar ─ daar was vooraf geen teken dat die goewerneur siek was nie.
Blykbaar het Van Noodt ’n groot begrafnis gehad, wat sy amp gepas het, maar sy kis is met sandsakke gevul en sy lyk is in werklikheid elders begrawe oor sy meerderes hom ná sy vervloeking nie in ’n heilige graf wou begrawe nie. Miskien is dit daarom dat die iesegrimmige goewerneur tot vandag toe vloekend op die kasteel se gronde rondloop en dan net verdwyn…