Mance è nato a Evanston, nell'Illinois, e ha studiato a Chicago. I suoi primi ingaggi professionali lo hanno visto collaborare con Gene Ammons e Lester Young; in seguito, dopo la chiamata alle armi nel 1953, ha suonato con diversi musicisti di passaggio a Chicago, tra cui Charlie Parker e Coleman Hawkins. Trasferitosi a New York, Mance ha lavorato con Dinah Washington e Cannonball Adderley, per poi guidare un proprio gruppo in diverse sessioni di registrazione per la Verve e altre etichette. Negli anni successivi, Mance ha insegnato alla Manhattan School of Music e il suo stile, fortemente influenzato dal blues, ha trovato molti seguaci, tra cui Brad Mehldau. Mance si è spento a New York all'età di 92 anni.
