Zespół "The Fugs" zawdzięczał sukces wspomnianemu już Bernardowi Stollmanowi, właścicielowi jednej z najbardziej zasłużonych nowojorskich firm niezależnych w tamtym czasie, czyli w latach sześćdziesiątych XX wieku. Do "stajni" Stollmana należeli zarówno awangardowi muzycy jazzowi, jak też folkowi i rockowi: Sex Pistols tamtych czasów, grupa “The Godz”, z nagranym 28 września 1966 zaledwie w 45 minut albumem “Contact High With The Godz”; "The Stooges", "Mothers of Invention" oraz "Velvet Underground". Dla Stollmana nagrywa też założona w 1965 roku na Florydzie przez Toma Rappa i jego szkolnego kolegę, muzyka grającego na bandżo Wayne'a Harley'a, basistę Lane'a Lederera i klawiszowca Rogera Crissingera “Pearls Before Swine” (z płytami: “One Nation Underground” ESP 1054 i “Balaklava" ESP 1075). Stollman nagrywał potem płyty z Randym Burnsem, Toddem Kelley'em, grupami "Cramagnon", "Octopus", Ericą Pomerance, Noahem Howardem, Henrym Grimesem, a także awangardowymi artystami europejskimi, jak: Gunter Hampel, "The Free Music Quartet", czy Karel Velebny z ówczesnej Czechosłowacji. Stollman w swojej ESP-Disk wydawał najpierw albumy artystów free-jazzu: Sun Ra, Pharoaha Sandersa, Ornette’a Colemana i Alberta Aylera, potem także Patty Waters i Eda Askewa, Charlesa Mansona (“Lie: The Love And Terror Cult” ESP 2003), Timothy'ego Leary (“Turn On, Tune In, Drop Out” ESP 1027), nawet jodłującego astrologa ukrywającego się pod symbolem "MIJ".

            Swoje biuro Bernard Stollman otworzył w 1963 na dwunastym piętrze budynku przy 5th Avenue 156. Był wtedy zwolennikiem ruchu Esperanto, jak wówczas uważano - jednego globalnego języka łączącego cały świat, zatem wydał jako pierwszą w swym katalogu płytę śpiewaka Fransa Jahgera z poezją Duncana Chartersa i Juliusa Balbina zatytułowaną “Ni Kantu En Esperanto” (“Śpiewajmy to w języku esperanto”). Wtedy też firmę nazwał Esperanto Disko, skracając ją następnie do ESP-Disk. W lipcu 1964 Stollman wydał jeden z najbardziej "wybuchowych albumów wszech czasów" “Spiritual Unity” saksofonisty Alberta Aylera z perkusistą Sunnym Murray'em i basistą Garym Peacockiem. Mieszkał wtedy niedaleko Cellar Café, gdzie festiwal October Revolution gromadził członków krótko działającej "Jazz Composers Guild", zatem namówił ją do zrealizowania zupełnie niekomercyjnego albumu. W godzinę Stollman nagrał także album Ornette'a Colemana “Town Hall 62” oraz płyty, na których znalazły się fragmenty zakupionych przez niego taśm, z utworami awangardowych muzyków jazzowych: Pharoaha Sandersa, Roswella Rudda i Johna Tchicai'a, "New York Art Quartet", Byron Allena, Paula Bley'a, Boba Jamesa, Lowella Davidsona oraz Rana Blake'a. Te dwanaście albumów Stollman wydał w 1965 roku w tym samym czasie, mając nadzieję, że spowoduje to wzrost zainteresowania odbiorców muzyką awangardową, free-jazzem, że ten nurt stanie się wtedy modny. Szukał zresztą różnych możliwości zachęcenia odbiorców. Jednostronna płyta Aylera “Bells”, wytłoczona została w pomarańczowym, żółtym, niebieskim, czerwonym i purpurowym marmurku z jasnego winylu, z wrzuconymi wycinkami prasowymi i innymi pamiątkami. Sam Ayler, uważany za jednego z największych w tym czasie awangardzistów jazzowych mawiał wtedy - Trane był ojcem, Pharaoh synem, ja zaś jestem Duchem Świętym...