Alors que le Comité français pour le fair play (CFFP) existait depuis 1973, Nelson Paillou de la Fédération française de handball (FFHB) et l'Union syndicale des journalistes sportifs de France (USJSF), ont incité d'autres grands dirigeants fédéraux à créer une association nationale pour lutter contre la violence qui apparaissait en France dans le sport et autour du sport. Ainsi, le 1er juillet 1980, 15 grandes fédérations fondent l'Association française pour un sport sans violence (AFSV). Fernand Sastre en devient le premier président.
Le 6 janvier 1983, sous l'impulsion de Nelson Paillou (président du Comité national olympique et sportif français (CNOSF), et de Robert Pringarbe (secrétaire général du CFFP), les deux entités (CFFP et AFSV), auxquelles s'est joint le CNOSF, fusionnent pour former une seule association : l'Association française pour un sport sans violence et pour le fair-play (AFSVFP). Robert Pringarbe devient le premier président de cette toute nouvelle association.
En 1984, l'AFSVFP obtient l'agrément du Ministère de la jeunesse et des sports, puis en 1989 le CNOSF lui confère une délégation de mission permanente.
En 1988, un diplôme d'honneur décerné par l'UNESCO a distingué une première série d'actions innovantes : entretiens, colloques, forums, journées sans violence, créations de slogans, distribution de tracts et d'affiches lors de rencontres sportives, Jeux du fair-play. En 1991, le Code du sportif voit le jour. Lors du forum national « L'esprit sportif et les jeunes » à Joinville, après l'étude d'un texte sur l'esprit sportif, l'AFSVFP élabore un « Code moral » spécifique. Il sera nommé par 300 jeunes : « le Code du sportif ». Nelson Paillou, président du CNOSF, souhaite le voir imprimé sur les licences fédérales afin de garantir la déontologie du mouvement sportif dans l'application des sanctions, considérant que « nul n'est censé ignorer la règle » et qu'il faut donc l'afficher. Quelques années plus tard, en 1996, les sept règles du Code du sportif ont été choisies comme « racines » du Code général de déontologie du CNOSF. En 1994, une déconcentration est amorcée par l'incitation à la création des Prix régionaux, départementaux et communaux du fair-play. En 2001, ce développement a été complété par un nouveau plan d'action :
Structuration territoriale : création d'associations relais démocratisant l'attribution des Prix.

Déontologie fédérale : généralisation de l'impression du Code du sportif sur les licences fédérales.

Pouvoirs publics et Mouvement sportif : création de module de formation à l'arbitrage pour les brevets d'Etat et les brevets fédéraux.

Code du partenariat : garantir les valeurs du sport dans les rapports de partenariat.

Développement et communication : promotion de l'esprit sportif humaniste dans l'espace francophone, modernisation des Prix nationaux du fair-play devenus « Les Iris du sport ».