Средневековую крепость в городе Выборг возвели шведские рыцари в далеком 1293 году во время третьего Крестового похода на Карельскую землю. Замок вплоть до XVII века служил резиденцией для шведских наместников, управляющих Выборгским леном. Крепость  расположена на небольшом острове размером 122 на 170 метров в Южной гавани Выборгского залива. Это самое древнее из выборгских укреплений и является одним из немногих сохранившихся памятников средневековой западноевропейской военной архитектуры в России.

Замковый остров ранее служил оборонительной точкой для карел, которую разрушили шведы, а затем, по решению регента шведского короля Кнутссона, на нем построили замок, который назвали Выборг.

Шведы возвели первые стены и построили каменную башню в центре. Высокая башня получила имя норвежского короля и крестителя Скандинавии Олафа Святого. Эта башня в течение длительного времени считалась самым высоким донжоном в Скандинавии.

Новгородцы не признали потерю карельских земель и в 1294 году начали осаду Выборга, но не смогли его захватить. Военный поход против шведов закончился неудачно и в 1322 году: войско князя Юрия Данииловича безуспешно осаждало замок в течение месяца. Осаду сняли только после подписания Ореховецкого мирного договора в 1323 году. По этому договору часть Карельского перешейка с Выборгом перешли к Швеции.

В период с 1442 по 1448 годы наместник короля Карл Бунде вложил значительные средства в крепость. Изменения прератили крепость в привлекательный замок, не имеющий себе равных. Вокруг острова построили защитную стену, в результате чего появился нижний двор замка. Внешнюю стену усилили боевыми башнями, такими как Пожарная, Сторожевая, Новая и башней Сапожника.

Когда Бунде стал королем Швеции, его преемники продолжили совершенствование замка и укреплений. Была построена первая круглая башня, известная как Райская. Они обновили рыцарские залы и парадные комнаты. В зданиях установили изразцовые печи, стены Святого Олафа обшили деревом, а верхний двор выложили камнем. Старый замок со временем превратился в задний двор крепости.

После посещения замка шведским королем в 1556 году, башни и здания снова перестроили. Береговую линию укрепили шанцами и больверками. В 1564 году главнуя башню подняли до 7 этажей, а верхняя ее часть приобрела восьмигранную форму с пушечными бойницами, это позволило осуществлять круговой обстрел.

В конце XVI - начале XVII века вместо шанцев и временного бастиона возвели каменные валы, облицованные камнем. Затем все предмостные сооружения объединили и построили Дом наместника - самое роскошное и надежное здание в Выборге того времени. Во второй половине XVII века вдоль внешней северо-западной стены построили каменные казармы.

В июне 1710 года, после двухмесячной осады, город был захвачен войсками Петра I. Последний шведский комендант, полковник Шернстроле, сдался в плен. В конце XVI века построили Рогатую крепость и Аннинские укрепления, они обеспечили надежную защиту Выборга от Швеции. Новые фортификации значительно снизили военное значение замка, и во второй половине XVIII века замок стал использоваться для размещения гарнизона.

В 1856 году в честь открытия Сайменского канала в замке устроили фейерверк. Масштабное празднование закончилось катастрофическим пожаром. Выборгский замок оказался серьезно поврежден, и в течение почти 30 лет оставался пустым. После пожаров 1834 и 1856 годов большинство сооружений замка были разрушены, а оставшиеся здания переоборудовали под склады. Некоторые из зданий, такие как губернская тюрьма, использовались для содержания политических заключенных, в том числе декабристов. В 1860 году замок признали негодным для обороны.

В 1888 году император Александр III распорядился произвести ремонт замка и приспособить его под свои нужды. Восстановление и реконструкция замка проходили в период с 1891 по 1894 годы. Внешний облик замка практически не изменился, однако были существенно изменены его внутренние помещения.

В результате реконструкции, стрельчатые и полуциркулярные своды заменены балочными перекрытиями. Добавили новые оконные проемы, но без сохранения средневековых каменных скамеек в нишах. Этажи получили другие уровни и стены, лишенные каминов и очагов. Также построили гранитное крыльцо у входа в башню, а внутри самой башни установили металлическую лестницу для доступа к смотровой площадке. В этом состоянии замок сохранился до наших дней.

Во время Великой Отечественной войны замок практически не пострадал. Музеем замок стал в 1970 году. В музее действует несколько постоянных экспозиций: «Шведский Выборг», «Выборг в составе Великого княжества Финляндского и независимой Финляндии», «Выборг в годы Второй мировой войны», «Природа Карельского перешейка». Кроме того, в Выборгском замке регулярно проводятся временные выставки, проходят рыцарские турниры, устраиваются различные фестивали и дни национальных культур.