Двухэтажный дворец в классическом стиле был построен в начале XIX века для бывшего королевского шамбеляна (камергера) Юзефа Гребницкого. Значительной перестройке он подвергся в 1905–1907 годах.
С 1920 года здесь находилась школа. В годы Великой Отечественной на оккупированной территории Шумилинского района с начала 1942 по август 1943 года действовала подпольная комсомольская организация «Юные мстители», основную часть которой составляли ученики Обольской школы. В 1958 году в их честь на здании установлена мемориальная доска.
После войны в бывшем дворце находилось общежитие завода керамических изделий, позднее оставленное и заброшенное. В середине 1990-х в результате поджога здание почти полностью сгорело. Сохранились лишь наружные стены дворца с четырехколонным портиком.