Antes que llegara Olimpia a Colón -en 1932- se había formado el Club Atlético Colón, que tenía su cancha de básquetbol en la calle Carve.
Su historia data del 17 de setiembre de 1918 en la plaza N° 1, en el barrio Guruyú , en el predio ubicado en Sarandí y Juan Lindolfo Cuestas, donde fue fundado el club.
Al trasladarse la plaza N°1 al barrio de La Aguada, en 1920 en el predio donde funcionaba el instituto femenino “José Batlle y Ordoñez”, surgen importantes atletas, entre ellos, Passadore, quien en 1928 había obtenido el título de campeón nacional de salto con garrocha.
En 1921 se inician las prácticas de básquetbol, obteniendo ese mismo año el primer puesto, en el “Campeonato Uruguayo de Novicios”.
El 19 de setiembre de 1948 se coloca la piedra fundamental del estadio de Olimpia, en un predio de 5.479 metros cuadrados, sobre la Av. Garzón, frente a la Plaza Vidella, obra de los arquitectos Canale y Arbeleche. En 1962 se inauguró el gimnasio y en 1963 la piscina.