Le Gymnaste Club de Nice naît le 9 Juillet 1904 avec pour but la gymnastique et les exercices athlétiques et choisit le bleu et le noir pour couleurs.

Au fil des années, le Gymnaste Club ajoute plusieurs sections sportives et devient un club respecté dans la région. Le 6 Juillet 1908 le club se divise en deux, la section boules garde le nom, les autres sections deviennent le Gymnaste Amateur Club de Nice et une section football est enfin créée. Elle jouera son premier match le 29 novembre en battant 6-0 le Stade Niçois. Pour sa première saison, le GACN finira 5ème du championnat de 3ème série.

Le 6 Octobre 1910, les deux entités du club se regroupent sous l’ancien nom de Gymnaste Club de Nice. En début de saison 1913-14, une mini poule (Prix Espérance) est organisée entre 3 clubs de 2ème série. Les 2 premiers (US Antiboise, GCN) montent en 1ère série. Et voilà donc le Gym qui accède à la plus haute division de district de l'époque.

Malheureusement la guerre 14-18 éclate et le GCN est mis en sommeil suite à la mobilisation de ses adhérents. Il reprendra ses activités en fin d'année 1917.

Le plus ancien club de football de la région, le Football Vélo Club de Nice (né en 1899 et jouant en rouge et noir) devient en novembre 1912 le Football Club Libertas, puis en mai 1913 le Football Athlétic Club de Nice. En mai 1919, il fusionne avec le Gallia Sports de Nice pour former le Gallia Football Athlétic Club. Ce nouveau GFAC n'a plus le lustre de son vieil ancêtre du Football Vélo Club et finalement, le 20 Septembre 1919, le Gymnaste Club de Nice va l'absorber et adopter en son honneur ses couleurs rouge et noir.

Le 22 décembre 1924, le GCN devient l'Olympique Gymnaste Club de Nice. Le mot Olympique est à la mode, puisque les Jeux du même nom viennent de se dérouler en France. En fin de saison 1926-27, le Gym gagne sa promotion en Division d'Honneur A, la plus haute division régionale d'alors.

Le club s'illustre sur le plan national en 1931 et 1932, parvenant à chaque fois en ½ finale de la Coupe de France. Le premier championnat professionnel est lancé cette même année 1932 et le Gym y est admis en compagnie de ses voisins antibois et cannois.

Cette première saison est constituée de 2 groupes de 10 équipes. L'OGC Nice finit 7ème et conserve sa place en Division 1 (les 7 premiers de chaque groupe sont qualifiés). La deuxième saison sera moins glorieuse. Alors que l'élite a été reformée pour passer à une poule unique de quatorze équipes, l'OGC Nice finit treizième. Le club aurait dû être relégué en Division 2 mais la Commission du Championnat lui retire sa licence pro ! Elle avait en effet promis aux clubs du Nord de ne pas engager d'équipe au sud de la Loire pour éviter de trop longs déplacements…

Contraint d'abandonner le professionnalisme, le Gym passera sa saison en jouant des matchs amicaux car, même si le statut pro lui est rendu en novembre, le championnat de D2 est trop avancé pour qu'il puisse y participer.

À nouveau admis en Division 2 lors de la saison 1935-36, il y reste jusqu'en 1939. La deuxième guerre mondiale éclate et va empêcher pendant 6 ans l’organisation des championnats nationaux. Le Gym est champion de France, zone Sud Est, en 1940, mais ne peut jouer les phases finales contre les autres champions de zones, ces dernières ne pouvant pas terminer leurs compétitions.

Le 15 juin 1943 le professionnalisme est remplacé par des équipes « fédérales », sorte de sélections régionales. L’OGC Nice devient partie de l'équipe fédérale Nice-Côte d'Azur. Après la dissolution de cette dernière en 1944, l’OGC Nice pro renaît.

Le 18 août 1943, la section amateur fusionne avec Les Sportmen de Nice et devient l’OGC Nice-Sportmen. Les deux entités ne se sépareront que le 21 mars 1946.

A nouveau ½ finaliste de la Coupe en 1945, le club intègre la nouvelle division 2 reconstituée pour la saison 1945-46. Champion de D2 au terme d'une superbe saison 1947-48 avec 109 buts marqués en 38 matches, le Gym remonte en Division 1 pour y entamer sa plus belle décennie : 4 titres de champion, 2 Coupes de France, 2 fois quart de finaliste en Coupe d'Europe des Clubs Champions et finaliste de la Coupe Latine.