В Х столетии на узкой площадке в месте слияния рек Оршицы и Днепра возник укрепленный деревянный детинец — первооснова города. Каменный замок начал возводился уже во время правления Витовта местными жителями при участии мастера из Кенигсберга. К началу XVI века твердыня была отстроена из камня только частично, что не помешало ей выдержать несколько осад войск Московского княжества.
В конце XVI века замок все еще был частично деревянным. 1594 году король Сигизмунд ІІІ обязал оршанцев деревянные «бланки на стене замковой оправлять и знову зробити, кгды опадуть». За замком следили крестьяне замковой волости и горожане, которые ремонтировали деревянные и каменные стены, поправляли мост и замковый став. На поддержание крепости шла часть доходов местной воскобойни и гостиного двора.
По сведениям инвентаря 1560 года, проезд в замок был с запада по мосту через Оршицу. Последний пролет моста поднимался на цепях. Башня с воротами была деревянной двухъярусной. Внутри нее была система запорных сооружений. Внизу башня защищалась большой бронзовой пушкой, вторая пушка поменьше находилась на верхнем ярусе. Вторая башня, слева от воротной, также была двухъярусной, наполовину «муром обмурована», защищена одной пушкой, требующей «окования». Первый ярус третьей башни был каменным, а второй — деревянным. На берегу Днепра стояла четвертая двухъярусная башня. Недалеко от нее был «тайник деревянный фундованный для воды у Днепр». Пятая башня замыкала кольцо замковых стен. Между пятой и воротной башней размещались две железные пушки.
В XVII веке оршанская оборона состояла из трех линий: деревянные внешние укрепления с тремя воротами (Днепровскими, Витебскими и Могилевскими), каменный пятибашенный замок и деревянный замок на мысу у слияния Днепра и Оршицы. По сведениям того времени, высота стен каменного замка была неравной: с уязвимой стороны — севера и запада до 8 м, со сторон, защищенных реками и высоким берегом, — 5,3 м. Толщина стен была «в сажень» (около 2 м). Периметр укреплений равнялся 354 м.
Фортеция неоднократно попадала во вражескую осаду. В 1500 году ее захватили и три года удерживали войска Московского княжества. Замок выдерживал осады 1507, а также 1562-64 годов. Осенью 1654 года после двух пожаров крепость была взята русскими войсками. В декабре 1654 года войска Радзивилла вернули ее под свой контроль и удерживали до мая 1655 года. Позже русский стольник Леонтьев снова занял замок и удерживал его до конца русско-польской войны 1654-1667 годов. После этих событий твердыня пришла в запустение и больше не выполняла своих оборонительных функций.
В конце XVIII века замок был разобран и до наших дней не сохранился. В 2003 году археологи обнаружили основание е фундамента — известковую подушку с добавлением глины, песка и бетонного кирпича.