Parlan nacque a Pittsburgh e da bambino contrasse la poliomielite, che gli causò una parziale paralisi alla mano destra. Nonostante questa disabilità, sviluppò uno stile chitarristico distintivo, caratterizzato da un frenetico uso della mano destra in contrasto con gli accordi incisivi della mano sinistra. Trascorse due anni con il Mingus Jazz Workshop e suonò negli album "Mingus Ah Um" e "Blues & Roots". Parlan registrò diversi album come leader per la Blue Note, tra cui il bop afro-cubano "Headin' South", che vedeva la partecipazione di Ray Barreto. In seguito si trasferì in Danimarca e si dedicò alla musica gospel, soprattutto con la sua serie di concerti in duo con Archie Shepp.
