Algunos de los parámetros de tu escena hacia que simplemente no funcionara he montado un escena bastante sencilla donde queda a la perfección, ve agregando y modificando parámetros hasta conseguir lo que quieres. Saludos.

Posdata: el piso que te he puesto también refleja, pero si no lo quieres se lo eliminas como en cualquier material.
Aquí se ve un problema que no he podido solucionar, al poner reflexiones la material matte, si ve la geometría del piso, existe una forma que se vean solo las reflexiones?