Первое упоминание о замке относится к 860 году, когда он назывался Асторвица. Это наименование имеет словенское происхождение — Островица и восходит ко времени славянского княжества Карантания, ядро которого находилось на территории современной Каринтии. В 1209 году Бернард Спанхейм, герцог Каринтии, передал роду Остервиц наследственную должность виночерпия герцогского двора. В XV веке последний представитель семьи Остервиц был пленён во время турецкого набега на Каринтию и скончался в плену, не оставив наследников. В результате замок перешёл во владение герцога Каринтии и императора Священной Римской империи Фридриха III.

В начале XVI века император Фердинанд I передал Гохостервитц наместнику Каринтии Кристоферу Кевенхюллеру. В 1571 году наследник последнего приобрёл и цитадель замка. Он сильно укрепил замок с целью отражения турецких вторжений, построил арсенал и четырнадцать ворот. В результате его работы фортификационные сооружения замка превзошли большинство современных аналогов.

После XVI века каких-либо значительных усовершенствований в архитектуру Гохостервитца не вносилось. Замок до настоящего времени остаётся в собственности рода Кевенхюллеров.