Hola tiagosan, yo instalé hace poco Windows XP 64 bits 3ds Max 9 64 bits y el Vray 1.5 64 bits, y tuve algún problema que conseguí solucionar, mi problema era con el archivo de lisencia, que no lo encontraba en la ruta que buscaba el Vray porque realmente estaba en otra carpeta que se te crea c:\ y que es para los programas a 32 bits. Esta carpeta acaba en x86 o algo así, posiblemente tu problema va por ahí.