Поначалу, еще будучи деревянным, этот храм располагался вблизи замка. Позднее он был перенесен на то место, где стоит сегодня.
Одна из первых католических святынь ВКЛ, костел был заложен в 1387 году на пожертвования короля Ягайло. Ныне действующий Крестовоздвиженский костел возвели в 1770 году. Возможно, проект храма принадлежал знаменитому архитектору Иоганну Кристофу Глаубицу — творцу стиля «виленского» барокко. Ему же приписывается и оформление интерьера, который сегодня украшают фресковая живопись сводов, стен, а также выполненные из искусственного мрамора алтари, кованый амвон, скульптура и орнаментальная лепка в стиле рококо. Святыня сберегает в своих стенах образ Богоматери, привезенный якобы первыми миссионерами-францисканцами еще в ХІV веке. В 1993 году рядом с костелом был установлен памятник первопечатнику Франциску Скорине.