Gracias AlphaCAD, no entiendo una cosa porque tengo que mirar la carga de la GPU si como dices con saber la carga de la escena y sumarla a la carga qué implica de por si Windows puedo sacar el total? Estoy mirando gpu-z la carga con la gráfica qué ahora tengo puesta una Quadro 600 con 1 giga, y se ve claramente como tú dices que, al llegar al límite de la memoria de la gráfica esta termina cerrando el ActiveShader de Vray RT y no puede renderizarlo, lo que no me queda claro es si casca por el total de la carga en memoria del equipo globalmente o por el total de la carga de la propia gráfica, sea como sea está claro que cuando pasa el límite de la gráfica casca, pero ahora necesito una referencia para saber que gráfica podría venirme bien si con 3GB O 6 GB, una cosa no me cuadra dices que sume la carga de la escena con la de Windows, pero si mi carga solamente con Windows es de 2,29 GB de esos 2,29 cuanto pertenece a la memoria gráfica es lo que se debería de saber, pero así por encima da la sensación que con una escena un poco por encima de esta qué comento que estoy probando, con una de 3GB el ActiveShade de Vray RT se me cierre es muy posible, por lo que me dices esq ya solo con abrir 3ds Max no podría prácticamente hace uso de la memoria gráfica, no lo entiendo, una escena grande abierta más la carga de Windows a mí me suma fácilmente 4,10-5GB.
Hay otra opción que seria bajar de la 780ti de 3GB a la 780 de 6GB de RAM, pero con 2304 cudas frente a las 2880 de la otra en términos de velocidad en active Shade no sé si se notara diferencia(o por lo menos exagerada), los dos con misma velocidad de Core y bost 889-980.