No, no fue la temporada 83-84 una precisamente para recordar, a pesar de haberse jugado en la máxima categoría. En liga se perdió la esperanza demasiado pronto, si bien hubo de esperarse hasta la penúltima jornada para certificarlo de forma matemática.
Y en Copa, las cosas no fueron mucho mejor. Tras darse un atracón inicial contra el Ceuta, al que golearon 9-0 en Carranza en la primera ronda (la vuelta fue un puro trámite que acabó con empate a cero), los de Milosevic se medían al Recreativo de Huelva, a la sazón en Segunda, aunque contando con jugadores que luego serían ilustres con la camiseta amarilla, como eran Carmelo o Chico Linares.
La ida dejó un 0-0 en el Colombino que parecía poner la eliminatoria de cara para los de superior categoría, pero los onubenses sorprendían en Carranza, imponiéndose por 0-1. Más de tres cuartos de partido aguantaron los visitantes el resultado que les permitía avanzar en la competición, finiquitando demasiado pronto a los amarillos, que ni por esas consiguieron, como va dicho, aunar fuerzas en la liga para evitar el descenso.