Cuando llegaron los conquistadores españoles a Colombia, el territorio que hoy ocupa Yarumal estaba habitado por los indios Nutabes. Le correspondió a Andrés Valdivia la exploración de esa región hacia 1537.
En 1780 empezó a llegar la civilización al territorio Yarumaleño. Entre 1781 y 1786 se da comienzo a la construcción de un caserío con el nombre de San Luis de Góngora. En 1787 se aprobaron en Medellín todas las normas para la fundación de una nueva ciudad. Se le cambio el nombre de San Luis de Góngora por Yarumal , por los muchos yarumos que tenía la región. Es municipio desde 1821 mediante el decreto firmado por el Virrey don Antonio Caballero y Góngora.
Yarumal está situada al norte de Antioquia, entre los municipios de Anorí, Valdivia, Toledo , San Andrés de Cuerquia, Santa Rosa, Angostura, Campamento y Briceño. Ocupa un área de 724 Kilómetros cuadrados, predomina el clima medio. Su río Nechí, nace en los llanos de Cuivá. Entre 1920 y 1930 Yarumal tuvo gran riqueza mineral, siendo la mina de Berlín la más importante. La ciudad está edificada sobre las faldas de una cordillera derivada de la central.