Построенный в середине ХVII века храм, славившийся в свое время девятью резными позолоченными алтарями, был закрыт еще в 1864 году, после подавления национально-освободительного восстания, в котором активно участвовали монахи-бернардинцы.
В 1872-м в костеле разместился архив, а принадлежавшие монастырю жилые корпуса, госпиталь, конюшня, трапезная и пивоварня были переданы под крыло военного ведомства. В годы Второй мировой войны в монастыре зверствовало гестапо – во внутреннем дворике расстреливали участников белорусского Сопротивления (старожилы рассказывают, что еще в 1950-е годы здесь сохранялась бетонная стена с многочисленными следами пуль, возле которой педантичные нацисты соорудили бетонный желоб для стока крови).
Здание костела Святого Иосифа – памятник архитектуры барокко – было реставрировано в 1983 году. Сейчас в нем находится два архива: научно-технической документации, а также и литературы и искусства Беларуси. В нескольких сохранившихся корпусах бернардинской обители до последнего времени располагались военные комендатура, прокуратура и гауптвахта. В 2014 году здесь был открыт отель «Монастырский».
Со стороны площади Свободы Иосифовский костел полукругом охватывают сооруженные в ХIХ веке на месте монастырской ограды торговые ряды.