No hace falta nada de eso. Simplemente emparentas un Empty a la casa y en el material de ladrillos de cada objeto usas el mapeado object y al lado pones el nombre del Empty (posiblemente empty), eso es todo. Ahora si rotas, escalas o mueves la casa, el Empty la seguirá al ser hijo suyo (jerarquicamente hablando) y por lo tanto los ladrillos se comportaran como deben.
Posdata: además, tienes el valor añadido, de que puedes escalar, rotar o mover la textura de los objetos que tienen ese material, todos a la vez usando el empty.