I 60’erne og 70’erne skød jazzklubberne op rundt omkring i Danmark. Hovedsagelig pga. de såkaldte New Orleans revival jazzbands popularitet, f.eks. bands som Chris Barbers Jazzband og Papa Bue Jazzband, men også pga. genopdagelse af gamle New Orleans-musikere som Bunk Johnson, George Lewis og selvfølgelig Louis Armstrong, som danske jazzfans betragtede som jazzens ambassadør.

Siden starten af 60’erne havde Down Town Jazzklub i Silkeborg arrangeret jazzaftener og -koncerter. På et tidspunkt var et af klubbens medlemmer (Kurt Jacobsen) på ferie i London, hvor han deltog i en sejlads på Themsen, og ombord spillede et jazzband – ligesom på Mississippi. Det var hyggeligt! Og ideen kom omgående: Ka’ man spille New Orleans jazz på Themsen, hvorfor så ikke også på Gudenåen? – det eneste danske vandløb med officiel status af flod, og hvor der i forvejen var “flodbåde” i fast rutefart til Himmelbjerget. Da Kurt kom hjem, fik han hurtigt de andre Down Town-medlemmer med på ideen, og i juni 1966 fløjtedes afgang til den første Riverboat Jazz Festival.

Det var en beskeden start med tre små både (100-120 passagerer) med afgang fra Havnen i Silkeborg, 2 timers sejlads op ad Gudenåen og i søerne med tidens traditionelle jazz ombord. Flåden lagde til ved Hattenæs, en sommerrestaurant 5-6 km. uden for Silkeborg. Dér spillede et andet jazzband til ud på aftenen. Ingen tvivl: Det var en succes! Og jazzklubben blev opfordret til at fortsætte festivalen.

De næste 10-12 år fortsatte væksten. Flåden var vokset til otte både, og hvert år øgedes antallet af orkestre. Nu blev der ikke kun spillet på bådene og på Hattenæs, men også flere steder i Silkeborg, og festivalen bredte sig over fredag og lørdag.

Down Town Jazzklub lukkede, men en privat restauratør (Ebbe Johnsen) drev festivalen videre i nogle år, og en organisation (Stalden) kørte yderligere videre med festivalen et par år. Interessen for jazz og festivalen dalede, og i slutningen af 70’erne og 80’erne var interessen for jazz så lav, at det blev en dårlig forretning at køre festivalen videre. På trods af at alle involverede var frivillige, ulønnede, var der underskud i både -84 og 85. Men ideen var for god til at man bare kunne slippe den, så Kurt Jacobsen gik på banen igen og overtalte nogle venner og musikere til at fortsætte. Med kun tre hårdtarbejdende bestyrelsesmedlemmer og begrænset økonomi, men med mange utroligt hjælpsomme frivillige, lykkedes det at komme ud af 86-festivalen uden tab og med styrket publikumsinteresse. – En ny æra var begyndt.

Riverboat Jazz Festival fik to hovedsponsorer, nemlig Tuborg, der gik ind med et anseeligt pengebeløb og den lokale Midtjyllands Avis, der støttede tilsvarende med annoncer, presseomtale og marketing knowhow.

Siden er festivalen vokset år for år, og har også siden 1986 kunnet kalde sig international. De første 20 år var det udelukkende danske orkestre, men nu er der årlige højdepunkter med internationalt kendte orkestre og solister.

Fra ca. 30 orkestre/solister i 1986 er antallet af orkestre vokset år for år til 70-80, som optræder for 40.000-50.000 mennesker over de fire dage festivalen nu varer.

Riverboat Jazz Festival skønnes at være den største skandinaviske festival, hvad angår New Orleans- dixieland- og swing jazzmusik, den såkaldte klassiske jazz.

Riverboat Jazz Festival har været afholdt både i den første weekend i august og den første weekend i skolernes sommerferie, normalt tredje eller fjerde weekend i juni. Siden 1986 har det dog været fast omkring den weekend, hvor skolerne slutter og sommerferien starter.