Дворец Вильяэрмоса расположен в историческом центре города, на улице герцогини Вильяэрмоса. Строительство дворца относится к 17 веку, он возведен в стиле типичного ренессансного палаццо. Дворец представляет собой конструкцию из кирпича с главным широким фасадом, в центре которого расположена дверь в виде полукруглой арки. Деревянный наборный потолок, раскрашенный в стиле мудехар, считается главной ценностью дворца. Потолок был найден во время реставрации одного из залов. Скорее всего, этот потолок был раскрашен в 14 веке.

21 октября 1926 года семья Виляьэрмоса передала дворец колледжу Сан-Виатор который находился здесь до 22 октября 1983 года. До 1999 года здание стояло в запустении до тех пор, пока его не выкупило предприятие IberCaja. После реставрационных работ дворец был превращен в ныне действующий культурный центр.