En 1784
Marc-Antoine Thierry est fait baron de Ville d’Avray, peu après son acquisition de la seigneurie de Ville d’Avray. Intendant du Garde-Meuble de l’Hôtel de la Marine de 1784 à 1792, Marc Antoine Thierry de Ville d’Avray y loge avec sa famille.
L’hôtel des Affaires étrangères et de la Marine fut construit par Jean-Baptiste Berthier en 1762 à la demande du duc de Choiseul, Secrétaire d’État aux Affaires étrangères pour abriter les services et les archives des Affaires étrangères et de la Marine. Il est contigu à l’hôtel de la Guerre achevé deux ans auparavant par Berthier et dont il reprend la même technique de construction de voûtes plates, à la fois économique et limitant les risques d’incendie.
En 1765, Louis XV décide de loger, dans celui du nord-est, le Garde-Meuble de la Couronne. Ancêtre de notre Mobilier National, cette institution était chargée de meubler les résidences royales, de veiller à l’entretien et à la restauration non seulement des meubles, mais aussi des objets décoratifs (vases, bronzes, tapisseries…), des armes et armures…
En 1772, l’intendant du garde-meuble, Pierre-Élisabeth de Fontanieu, s’installe dans l’édifice, où il fait aménager ses appartements. Lieu d’administration et de conservation, le palais devient aussi un espace d’exposition où est présentée une partie des collections. Cet embryon de musée est ouvert au public, tous les premiers mardis du mois, de Pâques à la Toussaint.
A partir de 1784, son successeur, Thierry de Ville d’Avray, poursuivant cette politique muséale, ajoute une galerie des bronzes. Il procède à d’importants remaniements dans les appartements et leurs décors. Pour son épouse, il fait aménager un petit appartement à l’entresol. Gabriel avait distribué deux appartements, l’un au sud sur la Place Louis XV et l’autre au nord sur la petite cour intérieure. Pierre Élisabeth de Fontanieu fit du premier, le plus spacieux, le plus prestigieux et le plus agréable avec sa vue sur les jardins des Tuileries et la place royale, son appartement de réception dans le second, sans doute plus calme et moins chaud l’été. Les appartements commençaient par deux antichambres communes, suivies d’un salon, d’une chambre aménagée en salle de billard et d’un cabinet ouvert sur la colonnade pour celui sur la place, d’une chambre et de deux cabinets pour celui sur la cour.