Nacido en Kingston en 1939, diez años antes que su hermana Hortense, Alton fue criado en la Calle 15º, en el corazón de Trenchtown. Estudió en Ebenezer school, y después en Boy´s Town School. Allí practicó cricket, boxeo, canto, baile y tenis de mesa. ¨Solía meterme en la Escuela a la noche¨ recuerda Alton, "a enseñarme a mí mismo a tocar a tocar el piano, a veces por siete horas seguidas".
El y Bunny Grant, el más grande campeón jamaiquino de boxeo, eran compañeros de clase,...