Mange middelalderske regjeringer og samfunn begrenset jødiske musikere til spesifikke instrumenter (fløyter og strengeinstrumenter blant de mest fremtredende), og musikken i seg selv var en av de få yrker jødiske folk fikk lov til å praktisere. Dermed alle større europeiske byer besatt dyktige, profesjonelle jødiske band. Disse bandene, sammen med Rom (sigøyner) band, reiste for å tjene til livets opphold. Tvunget ut av Spania, Portugal og Sentral-Europa (spesielt Tyskland), 17. århundre jøder befant seg flyttet til det osmanske riket i Pale of Settlement.
Det utenlandske musikere som reiser på handelsrutene injisert jødisk musikk med tyrkisk, gresk, armensk og Midtøsten påvirkninger, og bidrar til dannelse av tidlig Klezmer. Den ble karakterisert ved: 1) et ekstremt høyt nivå av musikalitet; 2) unike instrumentering; 3) Midtøsten polyrytmikk. I første omgang begrenset til roligere instrumenter klarinett og fiolin, Klezmer musikere adeptly utforsket sine musikalske evner, utvikle en følelsesmessig dybde og uttrykk etter mønster av den menneskelige sangstemme (en fremtredende egenskap fortsatt iboende i Klezmer i dag). Med det 18.
århundre Hasidic tradisjon (tilbedelse gjennom økt følelse) og utgivelsen av jøder tjenestegjør i tsaristiske hæren bringe inn mer militaristisk instrumenter, (trompeter, tromboner, konsert snare eller "lille" trommer ["tshekal"], montert bass trommer ["PUK" aka "Poik" eller "Baraban"], cymbaler ["tats"], tamburiner, treplater, kubjeller og andre perkusjonseffekter) lydene av moderne Klezmer begynte å dukke opp. Når europeiske regjeringer 19. århundre pålagt ennå enda flere vanskeligheter på Pale of Settlement, utvandring til USA ble det logiske valget for mye av den jødiske befolkningen.
I løpet av årene 1880-1924, jødisk innvandring til Amerika (spesielt New York City) overskrides mer enn to millioner mennesker, og bringer Klezmer til den nye verden. Ved begynnelsen av det 20. århundre, flere Klezmer musikere kom til prominence blant de mest respekterte blir klarinettister Naftule Brandwein og Dave Tarras. I tillegg bandet ledere som Harry Kandel produsert et vell