Первоначально собор был заложен в 1101 году по распоряжению Владимира Мономаха и стал первым памятником монументального зодчества на территории Смоленска. Летопись сообщает, что «в се же лето Владимир заложил церковь в Смоленске, святое Богородице камяну епискупью».

В 1611 году после почти двухлетней обороны Смоленска от польских войск последние его защитники с боем отступили в Успенский собор и взорвали запасы взрывчатки, хранившейся там, вместе с собой и нападавшими. Поляки устроили на месте собора костёл. После освобождения Смоленска было вновь начато сооружение в 1677 году под наблюдением зодчего Алексея Королькова и закончено архитектором А.И.Шеделем в 1732-1740 годах. Полностью собор был достроен в 1772 году. В соборе до 1941 года хранился первообраз Смоленской иконы Божией Матери, но после оккупации города немецкими войсками образ бесследно пропал. В соборе находятся мощи Меркурия Смоленского.