Политическая ситуация заставила более серьезно отнестись к обороне, поэтому по указу царя Федора Ивановича в 1596 году было начато строительство каменной крепости.
Архитектор – знаменитый мастер каменных дел Ф. Конь.
Крепость была построена в 1602 году, отличалась мощью, продуманной системой укреплений, прочностью. Предусмотрено ведение боя в трех ярусах: подошвенный, средний и верхний. Бойницы украшены каменными наличниками. Деревянные стены не убирались, они проходили рядом и служили дополнительными укреплениями. В некоторых местах были сделаны равелины.
Крепостные стены Смоленска с честью выдержали многочисленные осады, которым подвергся город. Укрепление серьезно пострадало при отступлении Наполеона в 1812 году, когда часть башен и стен были взорваны.
В настоящее время сохранились некоторые фрагменты мощных каменных стен, 18 башен, в том числе и знаменитая Веселуха.