Créé le 20 janvier 1910 par un groupe de parlementaires et d''universitaires français pour assurer les liaisons universitaires internationales, rôle que ne remplit à l'époque aucun service ministériel, l'Office est érigé en association du type loi 1901 par l'Assemblée générale constitutive du 29 juin 1910 et ses locaux sont situés au 96 boulevard Raspail dans le 6e arrondissement de Paris.

Limité initialement à la propagande en faveur du rayonnement de l'enseignement français, le rôle de l'association est de faire connaître à l'étranger les ressources intellectuelles des universités et écoles françaises, d'y attirer les étrangers en grand nombre, de favoriser les échanges de professeurs et d'étudiants entre les établissements français et étrangers.

Après la Première Guerre mondiale, "le prestige culturel de la France fut tel [...] qu'il n'était plus besoin de faire une propagande active en sa faveur [...]" (Jean Roche, brochure de présentation de l'Office, décembre 1969). L'Office se consacre alors essentiellement à une autre tâche : la tutelle des enseignants français à l'étranger.

L'entre-deux guerres est en quelque sorte la "Belle Époque" de l'Office. Avec le développement des relations universitaires internationales après 1918, il étend le champ de ses attributions. Il travaille en collaboration quotidienne avec les ministères de l'Instruction publique et des Affaires étrangères. Il est dirigé par un président et un comité de direction ; le conseil d'administration comprend des représentants des ministères concernés par la coopération internationale dans l'enseignement supérieur, des universités et des grandes écoles. Les recteurs en sont membres de droit. Le budget est alimenté par les subventions des ministères intéressés, les cotisations et souscriptions des membres de l'association.

De la Libération à 1980, l'Office voit son importance diminuer et traverse plusieurs périodes de crise, notamment à la suite de compressions budgétaires qui se soldent par des réductions de personnel. Dès 1946, plusieurs institutions prennent progressivement en charge certaines de ses attributions : l'enseignement français à l'étranger est géré par le ministère de l'Éducation nationale, l'accueil des étudiants étrangers par les centres régionaux des oeuvres universitaires et scolaires (CROUS), les informations sur les études en France par le bureau universitaire des statistiques, par exemple.

Jusqu'à sa liquidation en 1980, l'Office est en charge du recrutement et de l'encadrement des assistants et lecteurs français à l'étranger ainsi que du placement des assistants étrangers en France ; il partage avec le ministère des Affaires étrangères la gestion des bourses pour l'étranger en prenant en charge la publicité, la distribution et parfois l'instruction des dossiers ; enfin l'Office organise et patronne les appariements entre les établissements secondaires français et étrangers, ainsi que les rencontres et échanges individuels ou collectifs de professeurs et d'élèves et les séjours linguistiques à l'étranger.