Noto per il suo timbro potente ed il fraseggio "scolpito" ed assertivo, Gordon incarnava l'essenza tanto del primo bebop (prima) che dell'hard bop (poi). La sua impeccabile tecnica, un profondo senso dello swing (uniti a quel suono imponente) lo resero musicista a cui si rivolsero colleghi come Dizzy Gillespie e Bud Powell. Dopo aver firmato con Blue Note, dividendo il suo tempo tra Los Angeles e New York, Gordon si trasferì in Europa per 14 anni negli anni '60. Nel 1976 tornò definitivamente negli Stati Uniti. Nel 1986, la sua notorietà ricevette un nuovo impulso quando interpretò il ruolo principale nel film "Round Midnight" di Bertrand Tavernier.
