Esas ralentizaciones solo suceden cuando la escena tiene muchos objetos en pantalla para renderizar. A mi, por ejemplo, tengo mucho elementos que suman entre todos 1.700.000 polígonos, si quiero renderizar todo, tarda en x64 +rc3 unos 5-10min en preparar la escena, pero si hago una isolation de algunos elementos, ese tiempo se reduce, y va en proporción al número de polígonos que tengas en pantalla.
La verdad es que es un poco molesto, pero, cuando quieres renderizar muchos frames, ese tiempo de entrada/salida, pues como tampoco importa.