Deux descentes en deuxième Division lors de la décennie 60 ne seront pas compensées par une deuxième place inattendue en 1968.

Malheureusement, l'équipe n'arrive pas à se renouveler et les années 60 ne seront pas très favorables. Si, après la descente en division 2 de 1964, le Gym remonte immédiatement, il va traverser les saisons sans grand relief, avec 4 places de quart de finaliste en Coupe de France et des éliminations sans gloire en Coupe des Villes de Foires (ancêtre de la Coupe de l’UEFA).

La 2ème place de 1968 précèdera, un an plus tard, une nouvelle rétrogradation en D2, heureusement suivie d'une remontée immédiate. Le club change de dirigeants, la mairie s'implique plus pour tenter de renouer avec le lustre passé.