C’est une maison achevée, décorée et meublée que le duc de Sully achète le 23 février 1634. À la mort de sa seconde épouse, l’hôtel devient la propriété de son petit-fils, le deuxième duc de Sully. C’est lui qui commande la construction d’une aile neuve, perpendiculaire au corps de logis principal, sur l’emplacement d’un petit jardin à l’ouest de la terrasse du jardin. Au rez-de-chaussée, un appartement pour le duc est aménagé tandis que son épouse, Charlotte Séguier, s’installe au premier étage.
Au XIXe siècle, l’hôtel de Sully est loué à de nombreux artisans ; il abrite également une clinique et même un gymnase. Les appartements de la duchesse sont ainsi occupés par une manufacture de pianos.