Самая яркая достопримечательность Пружан — усадебный дом (так называемый «палацык»), выстроенный в середине ХIХ века маршалком пружанской шляхты Валентием Швыковским (1817–1900).
Выпускник Дерптского университета, человек высокой культуры, Швыковский вкладывал душу в самые разные общественные и хозяйственные начинания — от проведения через Пружаны почтового тракта до организации общественной библиотеки и строительства костела. Вынужденный покинуть Пружаны после восстания 1863 года, он затем возвратился сюда и с еще большим рвением занялся благоустройством своего гнезда, которое, однако, в 1895 году было продано графине Клейнмихель. Известно, что в Пружанской усадьбе любил останавливаться русский царь Николай II по пути на охоту в Беловежской пуще.
К усадьбе из города ведет кленовая аллея. Минуя браму, она выходит к партеру перед домом, решенным в формах неоренессанса на манер итальянской виллы. Уцелели парк с боскетами и пруд с островом, а также оранжерея, которую в позапрошлом веке пресса описывала, неизменно восхищаясь «вековыми апельсинами, коих тут настоящий лес, пальмами, миртами да лимонами». Сейчас тут действует музей шляхетской усадьбы.