Vray vs nanomix80
En el Color Mapping, no le actives que, afecte el background, creo que eso resolverá buena parte de tus problemas con el oscurecimiento del HDR (al tenerlo activado le estas diciendo que aplique una corrección de color a la imagen que tienes de background).
En los samples del antialias haz caso a Fidelmg y aumenta el valor de los mínimos a 0 (un valor mínimo de -3 es demasiado bajo, significa que el hacer la evaluación del número de samples que va a necesitar para un determinado píxel comienza por tomar un sample cada nueve píxeles) y ves subiendo a partir de 2 (normalmente con llegar a cuatro es suficiente). Activale el object outline, lo que hace es obligarle a tomar más samples en el borde de los objetos que es donde tu estas teniendo problemas.
En el environement del Vray se ponen mapas tipo HDRI para que el motor de render los utilice para iluminar la escena, al poner una imagen normal con el mapeado en screen (creo que es, así como la tienes) le estas diciendo que la utilice para iluminar la escena como si se proyectase desde la cámara sobre la geometría.
Si quieres utilizar el HDR como mapa de environement y para iluminar la escena, lo único que tienes que hacer es ponerlo en el environement del 3dsmax y en el environement del Vray no activar la casilla del override max (tal como te comenta Fidelmg).
Tal como te dice Fidelmg 16 rebotes son una exageración para tu escena, lo que le estas diciendo al Vray es que para cada rayo que mustrea calcule hasta 16 rebotes contra elementos de la escena. Valores mayores que 6 solos utilizaría en escenas con muchos elementos en penumbra.
"Tienes quince segundos para imaginar; si no se te ha ocurrido nada, a lo mejor deberías ver menos la tele" La Bola de Cristal