Taneczną pasję ojciec Jimiego zaczął wkrótce dzielić z innym zajęciem, z boksem. Zachęcony przez jednego z łowców talentów, w 1936 roku trafił na bokserski ring. Zachęcony przez jednego z agentów, że może zarobić 25 dolarów, pojechał do Seattle na turniej "Golden Gloves". Odbywał się w miejscowej sali Crystal Pool, na Pierwszej Alei, a - brali w nim udział bokserzy z całych Stanów... Walcząc w wadze półśredniej dotarł aż do finału mistrzostw okręgu. Niestety, dopiero na miejscu okazało się, że jest to turniej dla amatorów, którzy za swoje walki nie dostaną ani centa. Zapewne to, jak i zdanie fachowców od zawodowego boksu, że Al Hendrix, choć nieźle umięśniony, był na zawodowy boks zbyt niski, miał 170 cm wzrostu, miało to wpływ na szybkie zakończenie jego sportowej kariery. Poza tym, jak wspominał - Nie miałem instynktu "zabójcy", po co miałem bić z całej siły faceta, który wisiał już na linach. On przecież nic mi nie zrobił...

Kiedy osiemnastoletni Al przestał marzyć o sukcesach na ringu, podjął pracę w Vancouver jako kelner i tancerz w restauracji Chicken Inn, starał się też o lepszą posadę, stewarda na kolei. Odrzucano jego podania używając argumentu, że jest zbyt niski. Doszedł wtedy do wniosku,, że w rodzinnym mieście niczego nie osiągnie, postanowił więc przenieść się do pobliskiego Seattle, sądząc, że w USA łatwiej znajdzie pracę. Był już tam wcześniej, kiedy miał 12 lat. Wycieczkę do Seattle zorganizował wówczas pastor protestanckiego  kościoła afrykańskich  metodystów w Vancouver. Pojechały na nią dwie panie z kongregacji oraz Nora Hendrix z Alem i Frankiem. ..Zjedliśmy obiad w małej restauracji na 22 Ulicy i Madison. Widziałem bardzo dużo czarnych dzieciaków bawiących się na ulicy. Domyśliłem się, że w Seattle mieszka znacznie więcej czarnych aniżeli w Vancouver... Al opuścił Vancouver w 1940 roku, a pierwszym jego przystankiem po drodze do Seattle stało się miasteczko Victoria, oddalone od Seattle o 85 mil. Mieszkał tam jego kolega Dee Meyers. Razem z nim Al, przez dwa lub trzy miesiące, dzielił pokój, razem też pracowali na ulicy, czyszcząc buty białym przechodniom. Później już było Seattle. Jak wspominał, było to dość proste, gdyż miał, tak jak i pozostali członkowie rodziny, podwójne obywatelstwo - amerykańskie (po rodzicach) i kanadyjskie (z racji urodzenia).