Niezależnie od trudnej dziś do ustalenia prawdy, wiadome jest to, że to Carl Fisher namówił Jimiego do opuszczenia Nashville i do wyjazdu do Nowego Jorku. To wielkie miasto, na początku 1964 roku, nie jest najbardziej sympatycznym miejscem dla młodego czarnego R&B gitarzysty, który szuka tu możliwości znalezienia drogi do kariery. Wprawdzie segregacja rasowa nie jest tu tak wyraźna, jak na Południu USA, ale czarnemu muzykowi w Nowym Jorku i tak nie jest łatwo. Są, i owszem miejsca, gdzie może poszukać pracy, czy też możliwości prezentacji swoich umiejętności i pomysłów, szczególnie w tej części wyspy Manhattan, którą zwą Harlemem i gdzie koncentruje się życie czarnych.

            ...Przemierzając Manhattan z południa na północ, wychodzimy z Central Parku na Siódmą Aleję lub Lenox Avenue i nagle zauważamy zmianę w wyglądzie przechodniów - pisał James Weldon Johnson, Afro-amerykański, autor, polityk, prawnik i aktywista walki o prawa człowieka - W południowej i środkowej części miasta, widzieliśmy kilku Murzynów, ale po wyjściu z Central Parku widzimy ich wszędzie. Idąc jeszcze dalej na północ, widzimy coraz więcej czarnych. Spacerują, robią zakupy, chodzą na koncerty. W okolicy 135 Ulicy 90% ludzi, z policjantami włącznie, to Murzyni. Jesteśmy w Harlemie - czarnej metropolii...