Это культовое сооружение, возведение которого было начато ещё в 1409 году по приказанию и на личные средства великого князя Витовта, представляет собой типичный образец средневековой готики. Рядом с храмом была основана и приходская школа. Католический костел был сооружен из кирпича и камня с отдельно стоявшей колокольней.

В начале XVIII века костел был подтвергнут маштабной реконструкции. В его архитектурных чертах появилось много новых элементов, более присущих стилю барокко. В том же веке был сооружен великий алтарь со скульптурами.

Одной из самых известных достопримечательностей местного костела является знаменитая византийская икона Тракайской Богоматери, котороя была написана ещё в XII веке и преподнесена князю Витовту константинопольским императором Имануилом II Палеологом. Монарха и Великого Литовского Князя объединяли родственные связи. Внучка Витовта Она была выдана замуж за сына Эмануила. Следуя преданию икона объединила верующих трех христианских конфессий: католиков, православных и унитов, а известной она стала благодаря происходящим милостям и чудесам. Ей поклонялись и часто посещали паломники. В начале XVII века в Литве свирепствовала страшная эпидемия чумы и голод. По этому поводувильнюсский епископ Бенедикт Вайна, бывший ранее настоятелем города Тракай, организовал процессию покаяния из Вильнюса в Тракай. Всю 30-километровую дорогу епископ Вайна прошел босиком. Каждую милю процессия останавливалась и иезуиты читали проповеди. Чума прекратилась. С тех пор шествия паломников из Вильнюса и всей Литвы, а также Польши, Беларуси и Украины стали традицией: люди стекались в Тракай в поисках здоровья и оживления для души и тела.

В начале восемнадцатого века, Папа Римский Клеменс одиннадцатый увенчал икону золотой короной и поручил вильнюсскому епископу Бжестовскому организовать церемонию, которая длилась девять дней. Это первый литовский образ коронованный папскими коронами.