Во времена шведского правления, Выбор обрастал новыми сооружениями и расширялся. В 1470 годах, к востоку от Выборгского замка, началось возведение каменной стены. Протяженность стены составила около 2 км., на протяжении всей стены возвели девять башен, которые не только усилили оборону, но и стали украшением города. Одну из башен разместили на юго-востоке Каменного города, при этом она стала единственной воротной башней в этом районе. Ее назвали башня «Ратуши», так как она была построена и содержалась за счет горожан.

Изначально башня имела форму косоугольного объема высотой 9,7 м, или 12,5 метров до конька кровли, при этом была несколько вытянута по продольной оси. Башню выстроили из гранитных валунов которые клали на известковый раствор. Двухскатную кровлю покрыли черепицей. Сооружение имело сводчатые перекрытия и было поделено на три яруса. На верхних ярусах разместили бойницы и выходы на прясла. К башне примыкали прясла высотой 6,5 м и шириной 2 метра, которые являлись остатками крепостной стены. Нижняя часть с воротами служила для проезда, въездные ворота имели ширину 2,6 метра. Скорее всего, проезд через ворота закрывался подъемным мостом и горизонтальными воротами.

Со временем стена и башни Каменного города потеряли свое военное значение из-за строительства бастионной Рогатой крепости. Башня Ратуши была приспособлена для использования магистратом Выборгской ратуши, а затем стала колокольней собора доминиканского монастыря. В XVII веке она была перестроена из кирпича и восстановлена после пожаров. В 1797 году башню украсил барочный шпиль с флюгером в виде трубящего ангела. В 1820-х годах она использовалась как складское помещение, здесь хранили скульптуры и церковную утварь во время реконструкции собора.

Во время советско-финской войны в 1940 году оригинальный деревянный шпиль башни был уничтожен. В течение многих лет она стояла без кровли, пока в 1952 году не начались ремонтные работы. В 1970-х годах была проведена реставрация, в результате которой были восстановлены кровля, лестницы, перекрытия и оконные рамы. В 1997 году башня была передана в аренду церкви Божьей Матери Державной и приспособлена под церковный музей.

В 2016 году она была передана Выборгскому объединенному музею-заповеднику, и в период с 2017 года по 2018 год были проведены новые реставрационные работы, в результате которых появилась возможность для размещения в здании музейной экспозиции. С 2020 года башня открыта для посещения и содержит экспозицию, посвященную истории средневековой городской стены Выборга и Башни Ратуши.