Problema de memoria cargando bitmaps en Vray?
Una consideración: el tamaño de un fichero de imagen en formato (*.jpg) no tiene nada que ver con el tamaño en memoria de esa imagen una vez que la aplicación que estas utilizando lo ha descomprimido. Así, por ponerte un ejemplo, esa imagen que comentas y cuyo fichero en (*.jpg) no supera los tres megas, en memoria ocupa unos 83 megas (a 8 bits de profundidad de color). No se cuantas texturas de esas dimensiones estas usando, pero si a ese consumo de memoria le añades el del so, el max (con la escena que tengas abierta) y la que consume el Vray al procesar el render, es bastante probable que ahí tengas la causa del error.
Para intentar solucionarlo yo reduciría el tamaño de las texturas al mínimo posible (para mentener la calidad tendrás que hacer pruebas, piensa que, por ejemplo, si tu imagen tiene 5000 por 5000 píxeles y el objeto que tiene la textura que comentabas antes no ocupa más del 10% de la pantalla, es un derroche de memoria utilizar una textura que tengas mucho más de los 500 píxeles), reutiliza texturas (si tienes que ensuciar algo puedes usar una textura sencilla y para el color y luego otra de suciedad con un mapeado diferente que compones en modo multipy rgby que reutilizas en los distintos objetos que tengas que ensuciar).
Por lo que comentas en tu pd también es posible que al ir trabajando con el fichero max se te vaya ocupando memoria que luego necesitas para el render (los undos, por ejemplo). Prueba a poner el render con el ordenador recién reiniciado y con el mínimo número de aplicaciones funcionando. Suerte, un saludo.
"Tienes quince segundos para imaginar; si no se te ha ocurrido nada, a lo mejor deberías ver menos la tele" La Bola de Cristal