Hola devnul, prueba lo siguiente:
Abres A:M - Tools - Global - Real-time Driver: (aquí tienes una flecha desplegable con 2 opciones; OpenGL y Direct3D v8 - si la tienes por defecto como OpenGL, cámbiala a Direct3D v8. Si no tienes esa versión la puedes descargar directamente de la página de Microsoft. Luego prueba cargar una rotoscopía y verás que funciona. El Direct3D funciona muy bien cuando el computador es lento.
Lo otro que es bueno para optimizar A:M, para que pueda correr bien, es ir nuevamente a Tools - Rendering - Quality = Shaded (se puede ajustar con las teclas 8-9-10 del teclado Qwerty, no el teclado numérico. En la opción Shaded tienes la opción:
Polys Per Patch = 1 (por defecto está en 4) También puedes ajustar estás opciones más rapidamente con las teclas RePág y AvPág (avanzar y retroceder página, al lado de la tecla SUPR)
Show Decal = OFF (por defecto está en ON. Lo que hace es no mostrar los decal o calcomanías del modelo)
Show Back Facing Polys = OFF (por defecto está en ON y lo que hace es no mostrar los parches que se encuentran detrás del modelo.
Multipass = OFF
Motion Blur = OFF
Depth of Field = OFF
Shadows = OFF (por defecto está en ON)
Reflections = OFF (por defecto está en ON)
Draw Particles/Hair = OFF (por defecto está en ON y es la que más relantiza el programa)
Y hasta abajo = OFF
Al cargar una Chor las teclas AvPag y RePag no servirán en el modo cámara o teclado numérico 1, pero servirán en todas las demás vistas o teclas.
Al cargar cualquier Coreografia, siempre revisa las opciones por defecto de la "Camera", haciendo los ajustes que te nombré, así A:M correrá un poco más rápido.
Evita usar cualquier material, pues relantiza mucho el equipo.
Ojalá te sirva. Un saludo.
Perdón, vi que probaste con el Direct3d, así que obvia mi primer comentario

Lo otro que puede ser es que A:M pida profundidad a 32bits y no a 24bits y a lo mejor por eso te pide mayor resolución.