Šioje vietoje nuo pat XV a. stovėjo didikų namai. Nuo 1667 metų šie rūmai priklausė lietuvių kilmės LDK didikų Pacų giminei. Pacai čia šeimininkavo ilgiau nei šimtmetį.

Paskutinis Pacų atstovas, valdęs šiuos rūmus, Liudvikas Pacas anksti neteko motinos. Tėvui susirgus jį ėmė globoti dėdė Ignotas Tyzenhauzas, kuris šiuose rūmuose taip pat turėjo butą.

Viena iš Ignoto Tyzenhauzo dukterų, Sofija Tyzenhauzaitė, tapo pirmąja moterimi rašytoja, istorinėje Lietuvoje rašiusia prancūzų kalba. Ji taip pat buvo garsi tuo, kad pažinojo  galingiausius XIX amžiaus pirmosios pusės vyrus: Aleksandrą I ir Napoleoną, bendravo su rašytojais Aleksandru Diuma ir Alfredu de Miuse.

Sofija Tyzenhauzaitė, remdamasi Lietuvos istorija, rašė ir leido romanus prancūzų kalba. Ji rašė apie Barborą Radvilaitę, kunigaikštį Jogailą ir jo žmoną Jadvygą, Haliną Oginskytę ir kitas istorines asmenybes.

Tyzenhauzaitė iš viso parašė vienuolika kūrinių. Žymiausia jos knyga – „Atsiminimai apie imperatorių Aleksandrą” – buvo išleista 1829 metais, pavadinimu „Reminiscencijos” perleista 1864 metais.

Su į Lietuvą atvykusiu caru Aleksandru I ji susipažino 1812 metais Taujėnų dvare. Pastebėjęs 22 metų žavią merginą imperatorius pakvietė ją šokiui ir jos nepaleido visą vakarą. Šis epizodas yra minimas ir Aleksandro Tolstojaus romane „Karas ir taika”.

Sofijos ir Aleksandro I draugystė tęsėsi iki caro mirties. Kalbama, kad santykiai buvo ne tik platoniški.

1818 metais Sofija susituokė su prancūzu Oktavijum Šuazeliu Gufje. Ištekėjusi ji nemažai laiko praleido Platelių dvare. Vienintelį savo sūnų ji pakrikštijo Aleksandro vardu, o krikštatėvis buvo ne kas kitas, kaip pats imperatorius Aleksandras I.

Sklandė gandai, kad caras ir buvo tikrasis vaiko tėvas. 1812 metais, žygio į Rusiją metu, Lietuvoje buvo apsistojęs kitas imperatorius – Napoleonas Bonapartas. Sofija Tyzenhauzaitė atkreipė ir šio vyro dėmesį.

Sklando kalbos, kad Napoleonas yra sakęs “Ką aš pajutau malonaus tame žygyje į Rusiją, tai pažintis su Sofija”.