Рядом с ним высится ещё один памятник всемирного наследия — Даремский собор.

Даремский (или Дергемский) замок был воздвигнут сразу после норманнского завоевания Англии для защиты северных земель от шотландцев. Он служил резиденцией епископа даремского, правом назначения которого обладал монарх. В начале XIV века князь-епископ Энтони Бек построил в замке парадный зал длиной свыше 30 метров — один из самых внушительных в Англии.

Со временем епископы стали наведываться в замок всё реже, и он начал приходить в запустение. После основания Даремского университета епископ Эдвард Малтби в 1837 г. передал в дар университету весь замок с двумя капеллами — древней норманнской (около 1078 года) и позднеготической часовней Танстолла (1540 год) Опытный архитектор Энтони Сэлвин приспособил донжон для целей размещения студентов.