Историки расходятся во мнении, когда Брагин обзавелся собственным замком, игравшим важную роль пограничного укрепления. Достоверно известно, что его строительство осуществляли князья Вишневецкие.

Этот шляхетский род владел Брагинским замком вплоть до его разрушения в XVII веке. За время своего существования он успел послужить резиденцией Лжедмитрию I. Сегодня известно лишь примерное место, где располагалось укрепление. Археологические раскопки на этой территории не проводились.