Problema enorme al renderizar una animación en maya 2012
¿Se detiene el render o se cuelga Maya? ¿te dice algún tipo de error? ¿dice algo en el script editor explicando las razones del mismo? Si no lo estás haciendo ya, puedes intentar cerrar Maya y renderizar por línea de comando para consumir menos recursos. Y de todos modos (corríjanme si me equivoco), si no estas usando un motor de render que aproveche la placa gráfica (como Octane, Cycles o alguno de esos), que yo sepa no es el caso de Mental Ray, a la hora de renderizar no importa cuanta memoria tengas en la placa gráfica porque el render lo hace el procesador. La placa gráfica te sirve en esos casos para acelerar la visualización en pantalla, pero no el tiempo de render.
Entre dos males, elige ser el menor.