Seine musikalische Einfühlsamkeit und sein trockener Humor, mit dem er zahllose Sessions bereicherte, werden schmerzlich vermisst werden. Hinterlassen hat Abercrombie der Jazzwelt eine umfangreiche Diskographie, die studiert werden wird, so lange wie es Leute gibt, die Jazzgitarre spielen.
Seine erste Aufnahme für ECM, treffend “Timeless” betitelt, spielte John im Sommer 1974 zusammen mit seinem langjährigen Freund Jack DeJohnette am Schlagzeug und Jan Hammer an der Orgel ein. Über die nächsten vier Jahrzehnte hinweg war er als Bandleader, Co-Leader oder Sideman an Dutzenden von ECM-Projekten beteiligt. Obwohl John ein ausgesprochen kreativer Komponist von Jazzstücken war, liebte er es genauso sehr frei zu spielen oder Standards zu interpretieren. Auf vielen seiner Alben griff er auf all diese Ressourcen zurück und vereinte sie mit seinem flüssigen Ton und improvisatorischer Eloquenz. In Gesprächen wies er immer wieder darauf hin, wie nachhaltig ihn seine Vorbilder Jim Hall und Wes Montgomey beeinflusst haben und wie befreiend Künstler wie Ornette Coleman und Jimi Hendrix auf ihn wirkten; von entscheidender Bedeutung war für ihn aber auch Bill Evans' Gespür für lyrische Ausdrucksweise.
Im Laufe seiner Karriere leitete John Abercrombie zahlreiche hervorragende und viel beachtete Bands. Besonders stolz war er auf sein letztes Quartett mit Marc Copland am Klavier, Drew Gress am Bass und Joey Baron am Schlagzeug. Dieses Quartett veröffentlichte zwei Alben: 2013 erschien zunächst “39 Steps” und im Januar 2017 “Up And Coming”.
Zu den Highlights in John Abercrombies Diskographie gehören u.a. die “Gateway”-Trio-Alben mit Dave Holland und Jack DeJohnette, seine Duo-Alben mit Ralph Towner, Einspielungen mit Jack DeJohnettes Special Edition (die auch Lester Bowie und Eddie Gomez einschlossen), Jan Garbareks "Eventyr", Charles Lloyds "The Water Is Wide", Collin Walcotts "Grazing Dreams" (auf dem John mit Don Cherry zusammenspielt), Enrico Ravas "The Pilgrim And The Stars" und Kenny Wheelers “Deer Wan”… die Liste ließe sich noch lange fortsetzen.