Nathan Aaronson, dit "Noodles", vieil homme solitaire, revient à New York et se souvient... Sa jeunesse déllinquante dans le ghetto juif dans les années 20, avec Max, son ami de toujours ; leur ascension sans gloire dans la pègre, le trafic d'alcool, les fumeries d'opium... Mais il se souvient aussi de son amour d'enfance, Déborah ; de la violence, des meurtres sauvages...