В X веке здесь появились сначала деревянные, а затем каменные постройки. Кремль (или Кром – как его называют жители города) перестраивался вплоть до XVIII века, чтобы соответствовать всем требованиям времени.
Его протяженность – более 9 км, высота стен достигает 12 метров. Крепость имеет 9 башен, внутри находятся храм, площадь, хозяйственные постройки. Ансамбль Кремля включает в себя знаменитый Довмонтов город, в котором раньше было более десятка церквей, красивый Троицкий собор, приказные палаты (XVII-XVIII веков), пороховые погреба и прочие постройки.
До наших дней дошли башни Часовая, Власьевская, Средняя, Довмонтова. Также в крепости имеется захаб – специальный узкий коридор, который служил для защиты крепостных ворот от нападений неприятеля.
Располагающийся на территории Кремля собор имеет пять главок, а внутри его находится огромный семиярусный иконостас. Реликвиями храма являются святые мощи и крест княгини Ольги.