Joseph Walter Jackson 1929. július 26-án született az Arkansas állambeli Fountain Hillben Samuel Jackson és Crystal Lee King négy gyermeke közül a legidősebbként. Katherine Esther Scruse 1930. május 4-én született Alabamában, Prince Albert Scruse és Martha Upshaw két lánya közül az elsőként. Joseph és Katherine 1949. november 5-én házasodtak össze, és az indianai Garybe költöztek, egy kétszobás házba, amit 800 dollárért vettek. Minden gyermekük itt született. Joe egy The Falcons nevű R&B-együttes tagja volt két évig, majd darukezelőként dolgozott, mielőtt gyermekei menedzsere lett.