Nacido en la ciudad de Río de Janeiro, en una familia pobre, Nelson deja el colegio en la educación primaria para trabajar en una fábrica de tejido.
Desde niño tuvo contacto con la música, pues su padre Brás Antonio da Silva tocaba tuba en el grupo de la Policía Militar de su ciudad y su tío tocaba el violín. Con dieciséis años ya es conocido por tocar el cavaquinho, surgiendo así el apellido que lo acompañaría toda la vida.
En 1930 entra en la Policía Militar como su padre....