Eso de cristal polarizado me suena a qué lo mismo le has puesto el material a un simple plano, el cristal tiene que tener profundidad para qué se calcule bien el glass. Si entra luz del exterior va a aumentar mucho el ruido, tienes que, añadir esto a tu material:
Puedes probar primero con el shadow ray y si quieres fakear aún más, le sumas el diffuse + el Glossy y verás cómo reduce el ruido un montón. También lo que te ha dicho Solimán del clamp es efectivo contra las luciérnagas. Puedes aplicar además light portals y múltiple importance si la iluminación es hdr, si iluminas con un sol mejor no lo hagas.