Merci à tous pour vos suggestions de HAProxy et pour le paramétrage de nginx, j'ai loupé un ou deux paramètres. Je suis donc "condamné" à découvrir HAProxy. :)
Au passage, j'ai effectivement fait quelques tests avec Apache et il fait ce qu'il faut, mais il me semblait plus gourmand en ressources que nginx. Ou alors, ma config de test n'était pas correctement paramétrée.