No puedo saber exactamente a qué se debe, pero creo debe estar en tus valores para sacar el mapa de desplazamiento de
Mudbox o bien, en la geometría qué exportas/importas en ambos programas.
La esfera qué usas, es recomendable, antes de llevarla a Mudbox, meterle un TurboSmooth con 2 interacciones, luego en Mudbox puedes usar la opción de reconstruir niveles inferiores, antes de nada.
Una vez hagas eso, tendrás tu esfera con 2 valores de subdivisión en Mudbox, y ya desde ahí, puedes añadir más niveles y esculpir a tu modo.
Ahora, una vez terminas, baja al nivel en el que desees exportar tu esfera de nuevo a
3dsmax (con las mismas versiones de max y Mudbox esto es automático, si no ya sabes que te toca usar el formato obj o el fbx, ambos funcionan igual de bien para él caso) Esto es porque tú esfera, ya no es la misma qué tienes en 3dsmax, la topología a cambiado, aunque sea levemente. Si exportas la esfera con el nivel 0 ya sabes que debes meterla de nuevo el TurboSmooth a 2 interacciones en 3dsmax.
Luego importante, si tu esfera finalmente en 3dsmax, va a ser, por ejemplo, esa, nivel 0 con turbosmoh a 2, tendrás que usar en Mudbox, como objeto base, la esfera en ese nivel de subdiv, y usar la esfera en el nivel más alto de subdivisión como objeto highpoly, esto lo ves en las opciones para extraer el mapa de desplazamiento.
Ahora paso a darte unos valores, pueden servir para la mayoría de ejemplos, además, usas
Vray, por lo que incluso aún es más recomendable.
En target model, activa la opción que dice Smooth target model (esto no debería hacer falta si exportamos el modelo subdividido de Mudbox, así que, prueba con ello y sin ello) pienso se creó pensando en suavizar el modelo, para ajustarlo al pequeño desfase con las UVS.
El método de subdivisión raycasting y ajustado a la malla low, que es más mejor para extraer detalles en nuestro caso En search distance, puedes hacer click en best guess, te dará una distancia de autocage para calcular los detalles que meterá en el mapa de desplazamiento, que suele servir generalmente.
Y poco más, eliges resolución de mapa, y importante, el mapa mejor prueba con openexr en 32bits (lo que se conoce como coma flotante o floating point) De lo contrario, a mí me gusta también el tif a 16bits, para mapa este y para él de normales. El exr es para cosas muy detalladas, primeros planos, en plan retratos, por ejemplo.
En el Vray displacementmod. Solo tienes que meter el mapa de saques de Mudbox y meterlo como desplazamiento 2d. La resolución de este, puede ser la misma en píxeles de tu mapa de desplazamiento, o una igual o superior, pero siempre en potencia de 2.
Ejemplo, si tu mapa es de 2048px, puedes meter en el valor de resolution, la misma o 4096px, o incluso valores más bajos. A más resolución, evidentemente mejor Y pones la cantidad de desplazamiento que desees, en el valor de amount, suele ser equivalente a la escala de tu escena si esta, está en cm. Es decir, valor de 1=1cm de desplazamiento, pero depende de la escala. También donde metes el mapa, puedes jugar a desactivar el filtro piramidal que 3dsmax mete a las texturas por defecto, a veces en ciertos casos, ayuda a eliminar el efecto de emborronamiento, esto está en el material, donde metemos nuestros bitmaps.
Prueba con estas cosas por ahora, a ver si logras mejorar o eliminar esos artefactos.