Filho de imigrantes judeus, Stern nasceu no bairro do Bixiga, em São Paulo, em 17 de junho de 1928. Em 1944, estava na Hungria, quando o país foi ocupado por nazistas. Sua família inteira, menos o pai, foi levada a um campo de concentração.