En 2005 et 2006, Ludovic Poilvet évolue chez les professionnels dans l'équipe Bretagne-Jean Floc'h. Il n'obtient cependant aucun résultat notable. Sa première saison est notamment gâchée par une lourde chute lors du Grand Prix de Rennes, où il se fracture la clavicule et un poignet[3]. Non conservé par ses dirigeants, il redescend chez les amateurs en 2007 dans son club des Côtes-d'Armor.
En 2009, il rejoint l'UC Briochine. Dans le même temps, il reprend la ferme familiale et devient éleveur laitier[4]. Il continue toutefois la compétition, non sans succès. Après une saison à l'AC Lanester 56, il intègre l'ASPTT Rennes en 2012, club de division nationale 3[5]. Sous ses nouvelles couleurs, il devient vice-champion de Bretagne[6] et s'impose sur le Grand Prix de Plénée-Jugon, où il devance Eduardo Sepúlveda[7]. La même année, il gagne deux épreuves de la Ronde finistérienne, l'une à Saint-Evarzec[8] puis une semaine plus tard à Locquénolé[9].
En 2013, il rejoint le Team Pays de Dinan, avec lequel il engrange de nouvelles victoires au niveau régional breton. Il remporte notamment Tour des Mauges en 2015, devant son jeune coéquipier Élie Gesbert[10]. En octobre 2016, il devient champion de Bretagne du contre-la-montre dans la catégorie masters[11].