Problema con la refracción por las aristas
Me parece un problema de caras finas. En tu imagen de la malla se ven unas caras finísimas entre los dos agujeros, el agujero de la izquierda, y la esquina superior derecha.
En unas caras tan largas y finas, la más mínima diferencia en la posición de los vértices produce estas mierdetas. Aunque estén (o eso se supone) en el mismo plano. Es un problema del 3ds Max en general, no solo del Vray. Para max las normales de las caras son todas iguales, no se diferencia su modulo por el área que ocupan (al contrario que en Maya, según creo).
Bueno, y después de la chapa, que quizá no te interese, la solución es dividir las aristas de la caja y reordenar la malla para que las caras sean más regulares. Viendo tu malla yo le metería 15 o 20 vértices a las aristas horizontales, y 10 o 15 a las verticales.
Espero que te valga.
Aquel que pregunta, es tonto un rato. Aquel que no pregunta, es tonto toda la vida.