Mácaras-mattes en 3d
Ahora la pregunta es ¿por qué en 3d? Así a bote pronto, yo sacaría capas para hacerlo en postproducción. Cuál es el motivo de hacerlo en 3d?
Para que te quede claro, un objeto con un material matte/shadow, no oculta los objetos, si no que renderiza el fondo, con lo que no hay manera de decirle esto si o esto no, para hacer algo así, necesitarías animar o bien la propia geometría (con booleanas como decías o similar) o bien con mapas de opacidad, imho.
Aquel que pregunta, es tonto un rato. Aquel que no pregunta, es tonto toda la vida.