A bármely dzsesszstílus (kivéve a ragtime) leírásában egyetlen közös elem van, és az az improvizáció . Az afro-amerikai zenében ez már a kezdetektől fontos szerepet játszott, mert az ott élő törzsekre nagyon jellemző volt a kihívás és megfelelés kultrája. Az improvizáció formája azonban az idővel folyamatosan változott. A korai népzene és a blues általában egy kérdés-felelet rendszerre épült és az improvizáció vonatkozott a szövegre és a dallamra egyaránt. A Dixieland-ben a zenészek egymás után játszották el a dallamot, miközben a többiek próbáltak „vitatkozni” vele. A szving korszakban a nagyzenekarok már kottából játszottak, azonban sokszor előfordult, hogy játék közben a zenekar egy-egy tagja egy rövid improvizatív szólót adott elő, beleilleszkedve a leírt zene ritmusába. Az improvizáció végül a bebop-ban kapott központi szerepet, ahol az egész zene a kifinomult, improvizált szólókra épül kevésbé ügyelve a dallamra.
Improvizálás közben a zenészek egy akkordmenetet használnak, az akkordoknak e sorozata határozza meg a zenedarab harmóniai struktúráját. Például Charlie Parker Now's the Time című dala 12 ütem hosszú, és a dzsesszzenészek által 12-ütemes blues-nak (twelwe-bar-blues) nevezett akkordmenetet használja. A dal bemutatása után a ritmusszekció tovább játssza ugyanezt a 12 ütemet, miközben a zenészek szólóban ezekre az akkordokra építve egyenként dallamokat improvizálnak. Könnyebb megérteni a dal zenei hátterét, ha a szólók hallgatása közben megpróbáljuk folyamatosan dúdolni a dallamot, mert így válik világossá, hogy az improvizált részek a dallamra épülnek. Az improvizált dallam különböző akkordokra való illesztését nevezik „playing the (chord) changes”-nek, vagyis az akkordváltások kijátszásának.
Ahogy már korábban is felmerült a dzsessz kései ágai, köztük a modal jazz kevésbé törődnek az akkordváltásokkal, több teret adva az előadónak az adott modális skálák keretei közötti improvizálásra. Miles Davis Kind of Blue című albuma kitűnő példa a modal jazz-re. Comping-nak vagy vamping-nak nevezik, amikor a szólójátékos játéka közben a zongorista vagy a gitáros akkordokat improvizál.
Az 1950-es '60-as években fejlődött ki a jazz improvizációnak egy új, a korábbi szabályokat felrúgó ága. A free jazznek, energy musicnak, vagy "The New Thing"-nek nevezett irányzatban alig van kötött tempó, vagy akkordmenet; a zenészek játék közben szabadon kommunikálnak egymással. Fontos változás a korábban divatos irányzatokhoz képest, hogy itt újra előtérbe került a kollektív improvizáció, tehát szerepüket tekintve nincs nagy különbség a szólista és a kísérő között. A "New Thing" leghíresebb képviselői Ornette Coleman, Cecil Taylor, Albert Tyler, Pharoah Sanders és John Coltrane (a '60-as évek második felében). Hasonló (a free-vel gyakran összemosott) irányzat az avant garde jazz, itt azonban vannak előre megkomponált témák és struktúrák, amelyek az improvizáció kiindulópontjául szolgálnak. (Ilyen például Anthony Braxton több műve.)
Egy másik improvizációs technika a kulcsok beazonosítása. Ilyenkor a zenész végignézi a művet és beazonosítja az hangnem- vagy ritmusbeli váltásokat és erre építi fel az improvizációt.
Gyakran előfordul, hogy az előadók kilépnek a darabból, azaz szándékosan olyan hangokat vagy ritmust játszanak, ami egyébként nem illik a dalba. Ennek a célja általában a figyelemfelkeltés vagy pedig az, hogy amikor újra visszatérnek a darabba, az még kellemesebbnek tűnjön.