По преданию, в этом здании некогда находилась одна из резиденций короля Речи Посполитой Стефана Батория, за что местные жители прозвали дворец «Баториевкой».
До начала XVIII века это было самое репрезентативное светское здание города. Дворец неоднократно перестраивался и менял владельцев. После реконструкции в 1717–1718 гг. тут проходили заседания сейма Речи Посполитой и останавливался король Август II.
С «Баториевкой» связано множество местных легенд. Так, считается, что именно здесь в 1586 году произошло первое в истории Восточной Европы анатомическое вскрытие: итальянские врачи искали причину внезапной смерти короля Стефана Батория. А также, что на уровне второго этажа здание некогда соединялось галереей с соседним костелом Святого Франциска Ксаверияордена иезуитов, монахов которого пригласил в Гродно сам Баторий.
Множеством тайн окутаны подземелья «Баториевки» – посредством подземных ходов они соединялись с подвалами ближайших храмов, городской ратуши и дворца Радзивиллов. Сейчас в здании располагаются одна из кафедр Гродненского медицинского университета, а также музей «Гродненская кунсткамера».