В конце XIX века в Клецке построили несколько казарм для расквартирования кавалерийского полка. В основном это были деревянные бараки, но под офицерские квартиры и клуб было возведено каменное здание, которое сохранилось до сих пор.
В 1921–1939-х годах недалеко от Клецка проходила советско-польская граница. В городе проживало много военных, поэтому долгое время казармы использовались по назначению. Но после Второй мировой войны некоторые из них перестроили под жилые дома, а помещение штаба стали использовать как административное здание. Постройка задействована до сих пор.