Asegúrate de que el perfil de aplicación seleccionado en el panel de control de la gráfica sea 3ds Max, que has desactivado la sincronización vertical y que has instalado la última versión de Maxtreme. Métete en la Bios y busca el PCI-latency y si tiene un valor inferior a 64, súbelo. En la configuración de visores del 3ds Max asegúrate de que las opciones de Dual planes están activadas y que la configuración de Maxtreme está en fast.
Si nada de esto funciona mira a ver si la tarjeta no está desacelarando el chip cuando pasas a trabajar en una aplicación OpenGL, si es así el problema podría estar en la tarjeta, si no, me estoy quedando sin ideas.