Время основания крепости – конец XIII века, когда эти территории были захвачены шведами. Король Кнуттсон отдал приказ построить мощное оборонительное укрепление с каменной башней. Крепость была окружена стенами с зубцами, внутренние помещения были украшены изразцами, панелями. Позже при последующих правителях, было увеличено количество башен, поставлены бастионы, сделаны вал и ров с водой.
В XVIII веке замок был взят русскими войсками, до середины XIX века выполнял функцию форпоста, а затем был приспособлен под нужды военного ведомства. Здесь находились тюремные казематы, склады. Некоторое время в заточении замка отбывали свои сроки участники восстания декабристов.
В XX веке в Выборгском замке были проведены реконструкционные работы, ремонт, а затем организован музей. В залах колоритной древней крепости расположены экспозиции музея, рассказывающие о природе Карелии, истории города и городской таможни.