"The Fugs", bo tak się ten zespół nazywa, założył w 1963 roku lokalny poeta i właściciel księgarni Ed Sanders, wraz z poetą generacji beatników Tulim Kupferbergem. Dołączyli do nich: jeszcze jeden poeta Ken Weaver, który już w szkole średniej grywał w zespole marszowym na instrumentach perkusyjnych; a także śpiewak folkowy z Milwaukee Peter Stampfel i "country-bluesowy" gitarzysta z Filadelfii Steve Weber, którzy niezależnie działali w duecie "The Holy Modal Rounders". Z obu tymi grupami występował także klawiszowiec i kompozytor Lee Crabtree, który, jak wspominała Patti Smith - W hotelu Chelsea miał pokój z biurkiem pełnym kompozycji - grube pliki arkuszy z muzyką, której nikt dotąd nie słyszał...

            Muzykę "The Fugs" na początku, stanowiła mieszanka tradycyjnych folkowych i żydowskich melodii, zaczerpnięta z bogatej kolekcji płytowej przyjaciela Sandersa Harry'ego Smitha, przede wszystkim oparta na tematach z wydanej w roku 1952 antologii amerykańskiej muzyki ludowej. Pierwszy skład "The Fugs" dla firmy Folkways nagrał debiutancki album “The Village Fugs Sing Ballads And Songs Of Contemporary Protest, Points Of View And General Dissatisfaction”, który w okresie boomu na folk znalazł się na liście przebojów pisma Billboard na 142 miejscu. Na początku 1966 roku, powiększony o gitarzystę Kenny'ego Pine'a zespół, podpisał kontrakt z ESP-Disk. "The Fugs 'First Album" (ESP 1018) (nazywany także "The Village Fugs"), nagrano w dwóch sesjach w Cue Studios na 46th Street w kwietniu i czerwcu 1965 roku. Producent Harry Smith określił, że był to nieokiełznany chaos. W styczniu i lutym 1966 w RLA Richard Alderson z grupą muzyków sesyjnych, takich jak występujący już kilka razy na stronicach tej książki, perkusista Bernard Purdie, nagrał materiał na drugi album "The Fugs" (ESP 1028), z jeszcze większą dawką instrumentów elektrycznych. Znalazł się na nim raczej skandowany, a nie śpiewany antywojenny utwór Tuli Kupferberga "Kill For Peace". Resztę stanowił konglomerat folku, rocka i bluesa, istna dżungla dźwięków ilustrująca poetyckie teksty Eda Sandersa i Tuli Kupferberga. Radiostacje w ogóle nie prezentowały nagrań z tej płyty, więc Bernard Stollman, prawnik, zarazem właściciel firmy ESP-Disk, na tydzień wynajął Astor Place Playhouse, gdzie zespół "The Fugs" prezentował swój, mocno już zmieniony, elektryczny repertuar. To był bardzo dobry zabieg marketingowy, gdyż po krótkim czasie album dotarł do 89 miejsca, stając się pierwszym w historii "podziemnym" (undergroundowym) albumem, który znalazł się na liście przebojów i był tam przez 14 tygodni.