L'association de Charité, également appelée association des servantes des pauvres, est fondée en 1618 sous l'impulsion conjuguée de Françoise-Marguerite de Silly, comtesse de Joigny, donatrice d'une partie de ses biens, et Vincent de Paul, percepteur des enfants du comte, qui en rédige les statuts. L'association est dirigée par une prieure ou directrice, élue pour deux ans, accompagnée de deux assistantes, l'une en charge du mobilier et l'autre pour la comptabilité. Au moment de sa fondation, l'établissement compte quarante dames qui ont en charge le soin des pauvres ; en 1663 ce nombre s'élève à soixante-trois. Dans le même temps, Vincent de Paul fonde l'association des serviteurs des pauvres, chargés du secours des pauvres valides et infirmes, à laquelle adhèrent le comte de Joigny, Philippe-Emmanuel de Gondi, ainsi que les officiers et bourgeois de la Ville. En 1621, l'archevêque de Sens décide de fusionner les deux établissements, sous le nom de confraternité de la Charité ou association des servantes et serviteurs des pauvres réunies tout en maintenant leurs attributions respectives : le soin des malades pour les femmes, l'accueil des valides et infirmes pour les hommes.