La tradition fait de Baye le lieu de naissance de Saint Alpin, disciple de Saint Loup, qui fut au Vème évêque de Châlons et l’âme de la résistance à Attila. La baronnie de Baye devint l’une des plus puissantes du comté de Champagne.
En 1131, les bénédictins de Molesmes fondèrent dans le vallon d’Andecy une abbaye, reconstruite au 18ème , et aujourd’hui occupée par des religieuses.