Nato a Jackson, nel Mississippi, Brown iniziò la sua carriera accompagnando Johnny Otis. Fu suonando con Etta James che scambiò la sua Les Paul con una Gibson ES-175 e iniziò a creare il suo personale sound chitarristico. In seguito si stabilì a Los Angeles dove conobbe il produttore Bob Thiele, con il quale registrò il suo primo disco, "Chicken Fat". Pur essendo principalmente un chitarrista blues e R&B, Brown si cimentò anche nel jazz e nel soul-jazz, suonando con una big band diretta da Oliver Nelson. Oltre alla sua vasta discografia, esiste anche un documentario sulla sua vita, "Love Lost and Found".
