Каменный храм в честь апостолов Петра и Павла построен в 1146 году при Ростиславе Мстиславовиче, князе Смоленском. Освящен Симеоном, первым епископом Смоленским. В 1611-1654 годах, в период польской оккупации города, храм был обращен в костел. В нем служил католический архиепископ.

С 1654 года церковь Петра и Павла становится приходским православным храмом. В середине XVIII века храм перестроен и включен в объем примкнувшего с западной стороны храма великомученицы Варвары. Во время Отечественной войны 1812 года храм был разграблен, но затем восстановлен на средства из казны.

В храме в особо устроенном киоте хранилась чтимая икона преподобного Нила Столбенского с частицей его святых мощей, а также древняя икона апостолов Петра и Павла.

В 1943 году во время боев за освобождение Смоленска храм сильно пострадал. В 1962-1963 годах под руководством архитектора П.Д.Барановского Смоленские реставрационные мастерские выполнили работы, вернувшие храму Петра и Павла первоначальный облик.