Como se sabe, las cuevas de Hércules han dado lugar a múltiples leyendas, recogidas ya en textos medievales. Según estos, las cuevas serían oquedales naturales, a las que Hércules, fundador de la ciudad, habría dado una estructura arquitectónica para instalar allí sus palacios, donde se practicaban artes mágicas y nigromancia.
Otras leyendas las relacionan con la desaparición del reino visigodo a manos de los árabes, pues habría sido el mismo Hércules quien, con sus dotes adivinatorias, dejó en un cofre cerrado la profecía de la destrucción del reino visigodo, dejando explicito que cada rey pusiera un candado más. Pero fue la curiosidad o codicia del rey Don Rodrigo quien abrió el cofre y puso en marcha la maldición de la profecía, perdiendo su reino en manos del Islam y quedando destruido el palacio por fuerzas sobrenaturales, del que sólo quedaron las cuevas.
La asociación de los sótanos de San Ginés con las legendarias Cuevas de Hércules se produce en el siglo XVI y la primera exploración (en parte fallida) se debe al cardenal Siliceo.