Строительство связано с размещением здесь резиденции митрополита, а каких-то оборонных функций крепостные стены не выполняли.
После того, как в XVIII веке кафедра была перенесена в Ярославль, постройки двора митрополита начинают ветшать и разрушаться. И только в XIX веке, благодаря инициативе местного купечества начинается реставрация и ремонт храмов и стен кремля.
Всего комплекс включает в себя одиннадцать крепостных башен, Святые ворота, различные корпуса, а также храмы: Успенский, Григория Богослова, Иоанна Богослова, Одигитрии, Спаса Нерукотворного и другие.
Главным сооружением кремля является пятиглавый Успенский собор, возвышающийся своими куполами над другими постройками на высоте около 60 метров. Большой известностью пользуется звонница кремля, на которой помимо других, находился огромный колокол Сысой весом более 30 тонн.
Кремль является музейным комплексом, здесь располагается множество различных экспозиций. Проект по передаче построек и храмов в ведение РПЦ не был поддержан общественностью.