Первые упоминания об этом месте, где находится особняк Гагариной, относятся к 1740-м годам, когда здесь был возведён простой одноэтажный жилой дом. Его первым владельцем стал капитан Пётр Тимофеевич Савелов. Позже особняк переходил из рук в руки, меняя состоятельных хозяев - от купцов и дипломатов до знатных вельмож. Так например, в 1776 году дом приобрел первооткрыватель «Слова о полку Игореве» Алексей Иванович Мусин-Пушкин, а четыре года спустя - Пётр Кириллович Разумовский, один из сыновей последнего гетмана Украины.

В 1790-х годах владелец особняка, дипломат граф Аркадий Иванович Морков, возвёл справа от главного здания трёхэтажный флигель, взамен снесённых ворот. Примечательно, что брат другого владельца участка, Карла Ивановича Амбургера, был сослуживцем и секундантом на дуэли известного писателя А.С. Грибоедова.

В начале XIX века особняк перешёл во владение вдовы действительного статского советника Захара Хитрово - Александры Николаевны, которая в 1807 году устроила здесь домовую церковь Ахтырской Божией Матери. После её смерти дом достался дочери, Софье Захаровне, по второму браку де Сериньи. В 1835 году особняк выкупил известный архитектор Огюст Монферран со своей супругой Элизой. Однако уже год спустя он продал его владельцу соседнего дома, Павлу Николаевичу Демидову, вместе с проектом перестройки здания.

Монферран не только разработал новый облик особняка, но и лично занялся его реконструкцией для нового хозяина. Центральную часть здания выделяют четыре колонны, плотно прилегающие к стене. Их венчает нарядный парапет с четырьмя скульптурными фигурами, будто продолжающими вертикальные линии колонн. Этот архитектурный приём придаёт фасаду особую монументальность и величие.

Слева от центрального объёма возвышается трёхэтажный флигель, отодвинутый вглубь участка. Перед ним расположена открытая терраса, украшенная ныне утраченными барельефами на сюжеты басен Жана де Лафонтена. Эта асимметричная композиция, сочетающая разновысотные объёмы, стала новаторским решением архитектора Огюста Монферрана, отошедшим от строгих канонов классицизма.

Парапет центральной части фасада украшают три горельефа, изображающие известных творцов эпохи Возрождения - Франциска I у одра умирающего Леонардо да Винчи, Микеланджело, представляющего папе Павлу III чертёж собора Святого Петра, и Карла I, подающего кисть Тициану.

Эти сюжеты символизируют покровительство властителей искусству, что было близко и самим Демидовым, владевшим этим особняком. Над парапетом когда-то возвышался скульптурный герб рода Демидовых, подчёркивая принадлежность дома этой знатной фамилии.

После смерти Демидова дом унаследовал его сын Павел Павлович, который в 1873 году продал особняк княгине Вере Фёдоровне Гагариной, сестре хозяйки соседнего дома.

Княгиня Гагарина была женщиной неординарной - она примкнула к секте баптистов и даже ходатайствовала об учреждении Общества духовно-нравственного чтения. Вместе с тем, её супруг состоял в Совете училища барона Штиглица и собирал ценную коллекцию картин. По заказу Гагариной, архитектор Иван Васильевич Штром в 1873-1874 годах произвёл частичную перестройку особняка - в левой части здания были уничтожены двери с зонтиками, а вместо правого окна сделан новый главный вход.

К началу ХХ века внутреннее убранство особняка, в котором отразились стилистические изыски Монферрана, уступило место более скромной отделке 1890-х годов. Однако некоторые интерьерные элементы, такие как дубовые панели в Большом зале, красивая мраморная лестница в вестибюле с бронзовым канделябром, всё ещё хранят атмосферу того времени.

Судьба особняка в советский период была непростой. В 1918 году дом был конфискован в пользу Комиссариата народного хозяйства, а в последующие годы в нём размещались различные учреждения - от Ленинградского автоклуба до кружка бальных танцев. Во время Великой Отечественной войны в здании находился Морской регистр СССР.

Лишь в 1947-1949 годах особняк был отреставрирован, а в конце 1940-х здесь разместилось Ленинградское (ныне Санкт-Петербургское) отделение Союза композиторов России, которое занимает помещения и по сей день. В особняке проходят множество различных мероприятий связанных с музыкой: концерты, выставки, лекции и мастер-классы.