1600 - 1800
Na 1652 werd De Vicq eigenaar. In 1657 verkocht hij het huis aan de arts Jacques Willaeys. Het gebouw werd verder afgebroken. De torentjes verdwenen.
In de volgende eeuw veranderde de Florentijnse Loge regelmatig van eigenaar en de hoofdingang veranderde afwisselend kant Vlamingstraat en Academiestraat.
1730: Jan en Jacques de Laey maakten de zijgevel in de Vlamingstraat tot hoofdgevel.
1760: Sebastiaan Canneel werd eigenaar en verkocht het goed een jaar later aan Pieternelle Morbé, weduwe van Lodewijk van Walleghem. De hoofdgevel veranderde opnieuw naar de Academiestraat.
1780: Philippe Bruynseraede verhuurde het huis vanaf 1788 aan een literaire vereniging.
1803: Karel de Lange werd eigenaar en verhuurde aan De Lorme, postoverste. Nadien kwam Julie De Brauwere, Julie en Adèle De Stappens in het huis. Vanaf 1820 kwam de eigenaar het huis betrekken.