De eerste kapel, gebouwd in 1110, door Godfried met de Baard, Graaf van Leuven, werd genoemd naar "Sint-Sebastiaan", de beschermheilige van de boogschutters.

Later werd het een drukbezochte bedevaartplaats tegen besmettelijke ziekten. Ook verschillende vorsten kwamen er op bedevaart. Het bezoek van Karel de Stoute (1469) verdient een speciale vermelding. Deze beroemde bedevaarder stichtte er de broederschap van Sint-Sebastiaan, die afhing van de abdij van Vorst. Karel de Stoute zou zo opgetogen geweest zijn over het gunstig resultaat van zijn bedevaart dat hij de broederschap van Sint-Sebastiaan een kostbaar gulden boek schonk