Harlem historycznie, to nazwa wzgórz na północ od Nowego Amsterdamu (czyli obecnego Nowego Jorku), poniżej których był płaski i dobry pod uprawy teren. Dziś jest to miejsce na północ od 59th Street, które zamieszkiwali niegdyś Indianie. Holenderski gubernator Peter Stuyvesant w 1658 roku zbudował tam osadę i zmienił nazwę tego obszaru z „Muscoota” (w narzeczu Indian), na „Nieuw Haarlem”, którą Anglicy nazwali później „Harlem”. Uważa się, że była to enklawa dla wyzwolonych Murzynów, ale stało się to dopiero w 1644 roku, zaś wcześniej, w 1626 roku, Holendrzy sprowadzili na teren Nowego Amsterdamu jedenastu murzyńskich niewolników z Angoli, dwa lata później sprowadzono jeszcze dwie kobiety. Po wojnie secesyjnej, Harlem stał się dzielnicą dla lepszych i bogatszych obywateli, tzw. wyższej klasy średniej, osiedlali się tam głównie imigranci z Niemiec i Wielkiej Brytanii, a dzięki istniejącym instytucjom religijnym, edukacyjnym i rozrywkowym stał się dzielnicą modną i elegancką, miejscem zabaw, zawodów sportowych i weekendowych wycieczek. Wzrost cen doprowadził jednak w latach 1904-05 do załamania na rynku nieruchomości. Wtedy na te tereny wkroczyła firma murzyńska Philipa Paytona, która zaczęła za niską cenę wykupywać nieruchomości, a następnie sprzedawać je lub wynajmować czarnej społeczności. Osiedlanie się Murzynów spowodowało kolejny spadek cen, dalszą wyprowadzkę białych i wzrost liczebności ludności kolorowej. Do 1920 roku liczba czarnych mieszkańców podwoiła się do 150 tysięcy, mieszkało tu wtedy więcej Murzynów, niż w innych miastach Północy, nawet w Chicago. W Harlemie działały wtedy także organizacje, które miały na celu poprawę doli czarnych mieszkańców, takie jak: "Narodowe Stowarzyszenie Na Rzecz Postępu Ludności Kolorowej", czy "Urban League" ("Liga Miejska") na West 136th Street 202-206. Harlem był wówczas ściśle obramowaną i określoną ulicami dzielnicą w kształcie prostokąta 1x0,6 kilometra, od zachodu ograniczoną 8th Avenue, od wschodu zaś Lenox Avenue.