Nacido en Buffalo, (New York), Hall comenzó en la música desde muy chico. Su tío Ed, lo animó a estudiar la guitarra y le hizo conocer a los grandes del jazz de su época: Charlie Christian, Art Tatum y Jimmy Lunceford. A los dieciséis años se trasladó con su familia a Cleveland, (Ohio), donde completó sus estudios formales en el "Cleveland Institute of Music". Sus primeros pasos en el jazz profesional fue en el quinteto del batería, Chico Hamilton, en el que estuvo entre 1955 y 1956.

A fines de los años 50, su nombre se vio asociado a la corriente músico-cultural, denominada: "Avant-Garde". Un hito de esta nueva era fue el disco "The Bridge", grabado y liderado por el gran saxo tenor Sonny Rollins. También estuvo cerca del saxofonista, Ornette Coleman, uno de los creadores del "free jazz". Desde sus inicios, Hall compuso parte de su material, pero últimamente este rol ha cobrado un nuevo impulso.  Su permanente necesidad de renovación lo ha llevado a tomar este camino. Igualmente, no ha abandonado su inquietud de compositor académico.

Otro hecho decisivo en su viuda, fue su incorporación a la enseñanza musical en la "New School" de Nueva York. Entre sus ex-alumnos se destacan el guitarrista Peter Bernstein, el pianista y organista Larry Goldings y el saxo tenor Rasmus Lee. Aunque siempre fue bastante reacio a participar en seleccionados de guitarristas en "Dialogues", su último CD, están Mike Stern y Bill Frisell. Este proyecto incluye además al trompetista Tom Harrell y al saxofonista Joe Lovano (este último toca en "Calypso Joe", escrito especialmente para él y "Bon Ami", una balada dedicada a Django Reinhardt). Hay duetos con Gil Goldstein en acordeón y temas con sección rítmica (el bajista Scott Colley y el baterista Andy Watson).

 De cualquier manera, Jim Hall, está considerado como uno de los grandes guitarristas de jazz contemporáneos, y sus dúos con grandes músicos -su formato musical preferido- como Bill Evans, Zoot Sims, Ron Carter o Michel Petrucciani, son ejemplos absolutamente recomendables para comprobar en todo su esplendor el estilo creativo y sobrio de su música.