Zoon van een kleermaker, volbracht De Man zijn lagere en middelbare studies aan het H. Maagdcollege in Dendermonde en vervolgens aan de bisschoppelijke normaalschool inSint-Niklaas (1915-1918). Hij liet zich daar opmerken door zijn activistische sympathieën en werd van school gestuurd.

Vanaf 1920 trad hij toe tot de christelijke arbeidersbeweging en werd propagandist in de vakbond. In 1922 werd hij redactiesecretaris van De Tijd, het dagblad van het ACV en in 1925 volgde hij er Filip  de Pillecyn op als hoofdredacteur, totdat het blad fuseerde met Het Volk in 1928.

Hij werd toen stadssecretaris van Roeselare, een functie die hij (met onderbrekingen vanwege zijn politieke mandaten) behield tot in 1951.

In 1932 werd hij tot volksvertegenwoordiger gekozen in het arrondissement Ieper. Hij ontpopte zich nationaal als één van de 'coming men' van de christelijke arbeidersbeweging. In 1939 werd hij voorzitter van de Kamerfractie voor de Katholieke partij.

Tijdens de Tweede Wereldoorlog werd burgemeester Jan Mahieu Liebaert van Roeselare door de Duitsers afgezet. Van 1940 tot 1941 maakten de Duitsers de opmerkelijke keuze om stadssecretaris De Man als dienstdoend burgemeester aan te stellen. In 1941 werd hij vervangen door VNV-er Hendrik Demoen. De Man bleef stadssecretaris. Na de bevrijding werd dit hem niet kwalijk genomen.

In 1946 werd De Man senator voor het arrondissement Kortrijk-Ieper, wat hij bleef tot in 1968. Hij werd quaestor in de Senaat en leverde een bijdrage tot de vernederlandsing van de diensten bij dit wetgevende lichaam. Van 1947 tot 1949 was hij minister van Wederopbouw in het kabinet geleid door Paul-Henri Spaak.

Tegen het einde van zijn nationale loopbaan begon hij zich opnieuw in Roeselare te profileren. In 1959 werd hij gemeenteraadslid en schepen onder burgemeester Joseph De Nolf. In 1964 scheurden de christelijke middenstanders zich af van de CVP. Dit leidde er mee toe dat de partij voor het eerst haar absolute meerderheid verloor. De Man slaagde er met het ACW in om de macht binnen de partij te grijpen.

Burgemeester De Nolf werd aan de kant geschoven en De Man werd burgemeester. Hij sloot een coalitie met de BSP en De Nolf werd geen lid meer van het schepencollege. De Man was zo de eerste in een rij ACW-burgemeesters. Hij bleef in functie tot 1976.

Tijdens zijn bewind werden heel wat stadsprojecten in gang gezet, zoals de verhoging van de spoorweg in het centrum en het nieuwe station, een nieuwe brandweerkazerne, de aanleg van binnenringwegen op oude spoorwegbeddingen, de komst van heel wat (sociale) woonwijken en industriezones en de start van de werken aan de autosnelweg Brugge-Doornik.