Замок построен в 1384 году под руководством Асина Наомори в качестве укреплённого пункта клана Асина. До 1868 года был административным и военным центром региона Айдзу.

В конце XVI и начале XVII веков это укрепление переходило поочерёдно под управление кланов Датэ, Гамо и Като. Датэ Масамунэ в течение пяти лет вел сражения против клана Асина и в 1589 году одержал победу, замок перешёл в его владение. Но не надолго — в следующем году замок перешёл во владение Тоётоми Хидэёси. В 1592 году следующий владелец Гамо Удзисато достроил семиярусную главную башню, отремонтировал замок и дал ему название «замок Цуруга». Однако оно не прижилось и замок по-прежнему называли «замок Вакамацу».

В 1643 году замок Вакамацу стал резиденцией клана Мацудайра и оставался в его владении до 1868 года. В течение периода Эдо замок исполнял роль центра хана Айдзу. Во время войны Босин замок был поврежден правительственными войсками. Поскольку хан Айдзу воевал против императора, то главную башню замка снесли в 1874 году.

В 1950-1960 годах по инициативе властей и жителей Айдзу-Вакамацу замок был отреставрирован. В 1963 году из железобетона была возведена главная башня замка. В настоящее время башня используется в качестве музея, на последнем этаже есть смотровая площадка, с которой открывается вид на город.