A l'automne 1731, Jean-Jacques Rousseau retrouva Mme de Warens à Chambéry où elle avait loué une maison au comte de Saint-Laurent qui lui versait la pension que lui avait consentie le roi de Sardaigne. Rousseau trouva cette maison "sombre et triste", avec "un mur pour vue, un cul-de-sac pour rue, peu d'air, peu de jour, peu d'espace, des grillons, des rats, des planches pourries ; tout cela ne faisait pas une plaisante habitation. "Ici commence le court bonheur de ma vie ; ici viennent les paisibles mais rapides moments qui m'ont donné le droit de dire que j'ai vécu." ( Les Confessions) En 1735, souffrant, Rousseau rechercha, aux environs de Chambéry, " quelque petite maison assez éloignée pour dérouter les importuns" pour s'y installer " dans une solitude agréable" avec Mme de Warens. Sur les instances de cette dernière, il recherche " quelque réduit assez loin de la ville pour y vivre en paix, et assez près pour y revenir toutes les fois qu'il sera nécessaire "; assez rapidement, leur choix se porta sur les Charmettes, " une terre de M. de Conzié à la porte de Chambéry, mais retirée et solitaire comme si l'on était à cent lieues ."