Duke Ellington stammte aus dem schwarzen Kleinbürgertum Washingtons. Er war der Sohn des Oberkellners James Edward Ellington, der einmalig als Butler im Weißen Haus arbeitete. Später betrieb er einen Party-Service und versuchte seine Kinder zu erziehen, als würden sie in einem wohlhabenden, gutbürgerlichen Haushalt aufwachsen. Ersten Klavierunterricht erhielt der kleine Ellington bereits als Siebenjähriger von seiner Mutter, Daisy Kennedy Ellington. Jedoch hatte er keinen Spaß am Klavierspiel, so dass Daisy schon bald den Unterricht erfolglos wieder einstellte.
Erst im Alter von vierzehn Jahren erwachte sein Interesse an der Musik, nachdem er den Pianisten Harvey Brooks gehört hatte. Ellington hatte aber kaum formalen Musikunterricht, sondern nahm auf, was in seiner Umgebung verfügbar war, vor allem Ragtime. Neben einigen regionalen Musikern wurde James P. Johnson sein erstes Vorbild, dessen „Carolina Shout“ gleichsam die Weichen stellte. Aufgrund seiner vornehmen Ausstrahlung und geschliffenen Manieren wurde er bereits in seiner Jugend von Schulkameraden zum „Duke“ (englisch für „Herzog“) ernannt. Er begann seine professionelle Karriere als Musiker mit 17 Jahren.
In seinen ersten öffentlichen Auftritten spielt er zum Tanz. Ungefähr 1920 genoss er einen guten Ruf innerhalb der überschaubaren Musikszene Washingtons. Er war nicht nur als ein Begleiter am Klavier tätig, sondern auch als Bandleader, der mit Geschick dafür sorgte, dass sein Ensemble Arbeit fand. Als er mit 24 Jahren mit einer Gruppe Musiker aus Washington nach New York zog, gründete er dort die Band The Washingtonians. Der erste Anlauf ging schief. Dann brachte die Band die Sängerin Ada Smith unter: Ellington und seine Washingtonians spielten in verschiedenen New Yorker Clubs und tourten bis 1927 als Tanzmusikband durch Neu-England. Als der berühmte King Oliver den bekannten Cotton Club verließ, wurde Ellington der Job als Hausband im damals renommiertesten Nachtclub New Yorks angeboten.
Nach und nach wurden die „Washingtonians” zum Duke Ellington Orchestra. In den Harlemer Clubs, vor allem durch die regelmäßigen Radioübertragungen vom Cotton Club, erreichte Duke Ellington and his Jungle Band nationale Bekanntheit. In dem Club arbeiteten die begabtesten Liederschreiber der Branche, Dorothy Fields, Jimmy McHugh und Harold Arlen. Das Radio sendete live aus dem Club, die Presse berichtete über das Geschehen. In dieser Zeit hatte Ellington die Möglichkeit, Musik in vielfältigen Stilvarianten für Tanztheater und weitere Spezialgebiete der Band zu komponieren. Er experimentierte vielfach in der Tonalität, mit schreienden Trompeten und Wah-Wah, oder knurrenden Saxophonen. Der Jungle Style wurde sein damaliges Markenzeichen. Als Ellington den Cotton Club 1931 verließ, war er einer der bekanntesten Afro-Amerikaner. Regelmäßig produzierte er für Schallplattenfirmen und Filmstudios.
Als versierter Geschäftsmann kooperierte Ellington mit dem Verleger Irving Mills, dieser bestand darauf, dass Duke nur eigene Kompositionen aufnahm. Er schickte das Orchester schließlich im Sommer 1933 auf seine erste Europatournee. Anschließend unternahm er mit seiner Band zahlreiche weitere Tourneen durch die Vereinigten Staaten und Europa, sowie eine Welttournee in den 1960er Jahren. Er wirkte sein ganzes Leben als musikalischer Experimentator und nahm nicht nur mit seinem Orchester, sondern auch mit eher zur künstlerischen Avantgarde des Modern Jazz zählenden Musikern wie John Coltrane und Charles Mingus Alben auf. Die Band erreichte in den 1940er Jahren einen kreativen Höhepunkt, als er gezielt für die unterschiedlichen Stimmen seines Orchesters arrangierte und komponierte. Diese Entwicklung wurde in erheblichen Maße von dem Pianisten, Arrangeur, und Komponisten Billy Strayhorn beeinflusst, den Ellington Ende der Dreißigerjahre kennenlernte und in sein Orchester aufnahm.
Ellington und Strayhorn verband eine lebenslange, enge Freundschaft. Das am häufigsten mit dem Ellington-Orchester in Verbindung gebrachte Stück Take The A-Train stammt auch nicht – wie häufig fälschlich angenommen – von Duke, sondern von Billy Strayhorn. Selbst als Musiker ihn verließen und die Popularität des Swings zurückging, fand Ellington neue Formen, Anknüpfungen und Sidemen. In seinem Spätwerk komponierte er häufig in längeren Formen, wobei er sich an klassischer Musik orientierte, wie sein Black, Brown and Beige (1943), Such Sweet Thunder (1957), basierend auf William Shakespeare, sowie die Bigband-Fassung der Peer-Gynt-Suite (1960) zeigen. Die Verbindung der ursprünglich separaten Kompositionen Diminuendo in Blue und Crescendo in Blue aus dem Jahre 1937 zu Diminuendo and Crescendo in Blue durch ein sich über 27 Chorusse erstreckendes Tenorsaxophon-Solo von Paul Gonsalves während des Newport Jazz Festivals 1956 erbrachte durch Veröffentlichung eines Live-Mitschnitts das ersehnte Comeback.
An Ellingtons längeren, sinfonischen Arbeiten wird jedoch gelegentlich kritisiert, dass er bei ihnen das Wesentliche des Jazz zugunsten einer „künstlichen Klassik“ aus den Augen verloren hätte. Duke Ellington war bekannt für seine ausgeprägte Eitelkeit und seinen herrischen und manipulativen Umgang mit seinen Band- und Familienmitgliedern. So erlaubte er etwa seiner Schwester nicht, ohne Begleitung aus dem Haus zu gehen. Sein Sohn Mercer sagte über ihn: „Er regiert mit eiserner Hand in einem Glacé-Handschuh“.
1965 wurde Ellington für den Pulitzer-Preis nominiert, den er aber nicht erhielt. „Das Schicksal ist freundlich zu mir. Es will nicht, dass ich zu jung berühmt werde.“ Am 24. April 1969 erhielt er aus der Hand von US-Präsident Richard Nixon für sein Lebenswerk die Presidential Medal of Freedom. 1973 wurde er in die französische Ehrenlegion aufgenommen.
Duke Ellington starb am 24. Mai 1974 an einer Lungenentzündung und wurde auf dem Woodlawn-Friedhof im New Yorker Stadtteil Bronx beigesetzt.