Вологодский кремль начал возводиться в XVI веке во время правления Ивана Грозного. Планируемая территория в 2 раза превосходила территорию Московского Кремля. Закладка каменной крепости проходила 28 апреля 1565 года, в день святых апостолов Иасона и Сосипатра. Это событие впоследствии дало другое название Вологде — Насон-город.
Сооружение вологодского Софийского собора связано с именем Ивана Грозного. Предание рассказывает, что Иван Грозный, которому очень полюбилась Вологда, пожелал сделать ее своей северной резиденцией и даже столицей опричнины. При нем в Вологде началось большое каменное строительство. Софийский собор строили с особой тщательностью и под личным наблюдением Ивана Грозного.
Современная территория кремля, огражденная высокими каменными стенами, разделена бессистемно расположенными на ней разновременными зданиями на три двора. Из них главный, центральный, занимает большую часть территории; в северо-восточном ее углу находится небольшой Консисторский дворик, в северо-западном – хозяйственный двор.
В настоящее время большая часть бывшей архиерейской резиденции, почти все помещения ее главного центрального двора используются Вологодским государственным историко-архитектурным и художественным музеем-заповедником.