Desde luego si trabajas con Vray es mejor poner sombras Vray, yo no he probado RPC con Vray así que, no sé si lo hacen bien, supongo que, sí, de las sombras nativas que te da a elegir max sólo te perfilara bien el contorno del árbol la sombra Raytracing, como cuando trabajamos con una textura y un mapa de opacidad.
Por cierto ¿tenías excluidos de la luz esos objetos?
A mí la iluminación me parece bien, lo que no me gusta es precisamente la vegetación de RPC.