Componentes para granja render 3d

[OGINTERIORES]

Hola buenas soy nuevo, pero vengo para quedarme, siguiendo las indicaciones de AlphaCAD aquí va mi tema. Tengo pensado montar de forma inmediata 5 máquinas en un armario rak de 31u de una forma un tanto inusual que he visto en youtube. Aquí hacen un RenderFarm con gráficas, pero yo eso lo dejo para un futuro cuando este evolucionado el sistema, es mi actualización futura del RenderFarm.

Atlas folder - GPU folding farm howto - Parte 1.
He calculado que puedo poner 8 PC más el hub y unas regletas de enchufes, pero se verá según monte los primeros 4-5 PC. En realidad, creo que puedo llegar a 16 PC completos en 31u de rak 19 pero ya haciendo inventos complejos, ya veremos.

Voy a usar para render 3d con Vray.

Configuración de los PC:
Micros: 4ud Intel i7-4770que 3.5ghz.
1ud Intel i7-4930que 3.4 GHz.

P. Base: 4ud Asrock extreme 4 chipset z87.
1ud asusp9x79 pro.

Ram: 2ud/pak G.Skill Trident x dr 2400 pc3-19200 32 Gb 4x8 Gb cl10- 1 pack 32 Gb para máster y 1 modulo 8 Gb por nodo compatibles con z87.

Discos: 5ud SD Samsung evo 250 Gb.

Fuente: 4ud Tacens Radix vi 550w.
1ud Aerocol templarius imperator 1150w 80 plus gold.

Refrig: 5ud Corsair cooling Hydro h100i.

Monitor: LG ultrawide 29 IPS formato 21:9 retardo 5ms con un 99% en SRGB a mí me ha gustado mucho por diseño y prestaciones es como tener 2 monitores sin el marco central. (tengo otro hacer de 19 TFT para ofimática y un CRT de 22 pulgadas 4:3 misubishi Diamond plus que si se lo tiro alguien a la cabeza lo mato mi monitor hasta la fecha fijo).

Chasis: armario rackmatic rm04 de 31u.

Bandejas: 5 ud bandeja f450 multiperforada para fijaciones.

Hub/switch: tl-sg1016d 16 puertos Gigabit 10/100/1000.

Y algunas cosas más cable utp cat6 y a lo mejor un KVM para controlar todos los PC desde 1 monitor teclado y ratón aquí ya tengo uno mirado en caso de que sea necesario.
5 máquinas sin contar nas o raid que creo que es lo mejor para el rendimiento y almacenaje.

Es una pasta así que, espero no pifiarla. Lo que falte nas, discos para raid, KVM, utp Cat 6, cableado, tornilleería, horas, software, configuración, test, ya sobre la marcha o para el final.

El nas seguramente me lo montare con un Pentium 4 3000 con 1 Gb Ram (no sé si será poco y si el echo de no ser SATA I seria un problema en la velocidad de transf, para que los nodos cojan la información de texturas y todo eso) o con el Quad Core, pero lo quería mantener como Workstation por si incorporo un ayudante. El Quad lo tengo con placa Asus strike formula 780i con Gigabit y doble puerto Lan, y 8 Gb RAM. Pero si con el p4 arreglara sería mejor. Ya el p3 a 1,7ghz no lo planteo.

Lo dicho si alguien que tenga conocimientos del tema me puede orientar si voy bien o no sería de agradecer.

Decir que todo lo aprendido es gracias a foros como este por eso e decido preguntar mi últimas cuestiones. Hace 1 mes no sabía ni que era un RenderFarm. Saludos.

[AlphaCAD]

Veo que no has incluido toda la información que publicaste en tu otro post, falta, por ejemplo, el monitor. Sería bueno que lo incluyeras editando el primer mensaje de este nuevo hilo que has abierto para qué de esa forma otros en tu misma situación se puedan beneficiar teniendo una idea más completa.
¿Es posible que el enlace de YouTube esté mal?
Tan sólo veo un vídeo con una placa para montar una solución multi-GPU, pero no veo la relación con lo que quieres montar en este momento.
¿Puedes describirnos un poco tu idea de forma más gráfica o mostrarnos algún ejemplo similar a través de algún enlace? Gracias.

[OGINTERIORES]

El enlace de del video hace referencia al sistema de montaje que he escogido sobre bandeja sin tener que comprar cajas cerradas que valen un pastón, además de ganar en refrigeración de componentes y accesibilidad. Las bandejas del video son muy caras y solo las venden en USA (portes/aduanas) por lo que me hecho con unas bandejas 1U multiperforadas sin los laterales a 30EUR/ud.

La idea es montar la placa, Ram, fuente, disco SD, y RL con 2 ventiladores con opción de 4 por bandeja 1U aunque le voy a destinar más espacio por bandeja para poner el radiador de perfil y conseguir mayor ventilación entre pcs (vamos como en el video) además de poder poner gráficas si se diera el caso ya qué me va a sobrar espacio para 5-6 pcs. Cuando lo tenga uno montado ya me subiré unas fotografías. De momento esto servirá como ilustración.

No se cuantos van a caber exactamente, pero a medida qué monte el sistema se verá cuantos caben y que opción de colocación es mejor. La cosa está en que me sobra mucho espacio por bandeja y eso es bueno.

[AlphaCAD]

Vale, acabo de ver el vídeo 4 en el que efectivamente aparece el rak con las bandejas y las distintas placas montadas. Te preguntaba por el enlace ya que hasta el vídeo 4 no se puede ver la configuración como tal.

Te hubiera bastado con RAM a 1866 MHz y te hubiera salido más barato que la de 2400 MHz.

En lugar del Corsair H100i hubiera sido mejor montar un Cooler Master Eisberg que te permita al menos purgarlo o ampliar el circuito en caso de que fuera necesario.

La fuente de alimentación Tacens Radix VI está bien para un equipo de gama medía, pero para eso yo hubiera mirado fuentes con mayor calidad y estabilidad en los raíles ya qué precisamente es uno de los elementos que más esfuerzo va a tener que hacer, y ya ni te cuento si en futuro vas a montar la granja de gráficas.
¿Quién va a montar todo? ¿Dispones de algún esquema general para montarlo?

[OGINTERIORES]

Las memorias con 1866 ya las estuve mirado con muy buenos ojos hasta que hice cuentas y vi que las de 2400 salía el módulo de 8g a 76EUR precio bastante bueno creo, con la ventaja de no desperdiciar slots con módulos de 4 Gb y sale más barato que comprar 16g y me salía bien 2 packs uno para el máster y 1 modulo por nodo.

La rl tiene una pinta de ser una bestia, pero el precio también me ha llamado la atención casi 170 euros (contando no ha llegado a 100 euros cada Corsair h100i 99 con algo) el tema del purgado bueno tengo el Quad y un SLI con un radiador pasivo con sistema de purgado, bomba, y la verdad da más problemas que beneficios (aparte de buenas temperaturas) a la hora de quitar un componente y mantenimientos, otra opción era hacerme con 2 radiadores de 460 por 120 milímetros con opción de ampliar o sea modular y conectar las CPU + (gráficas en un supuesto) pero salía por un dineral todo y no puedes montarlo en serie por el incremento de temp del agua a pasar por cada CPU hay que sectorizar el sistema. Lo bueno del modular es que es escalable. Al final opte por una opción que representa que no requiere de mantenimiento de líquidos ni propenso a fugas con la contra de que cada CPU requiere de su unidad rl independiente cosa que también es bueno si piensas en que no compromete a otro nodo. El tema de ampliaciones de la rl a otros elementos del nodo la verdad estos radiadores de 240 milímetros tienen una capacidad bastante limitada a una CPU con un OC alto. Es imposible que puedan refrigerar 2 CPU o CPU + gráfica, simplemente no dan enfriado lo suficiente. Lo sé porque me paso con el QX6700, cosa que al final deje el SLI de 8800 GTX con la rl y al micro el puse un Thermalright 120 con 4 ventiladores 2 por cada lado de 120 para que no pase de 70-72 al 100% con tjmax de 100ºc y un OC de 3,5ghz.

Con las fuentes de alimentación tenía muchas dudas. Sé que una fuente de alimentación es muy importante para la seguridad de los componentes y la estabilidad del sistema. Además, que estas fuentes no son para equipos de gama alta por su precio ya directamente y no tienen un gran rendimiento de eficiencia gold o similar (esto es lo que más me fastidia) además es seguro que no valen para poner SLI ni GTX de 250w de consumo. Pero creo que pueden tener su rendimiento con el sistema que van a mover. 550w tienen que ser más que suficientes para 1cpu de 130w + placa base + 1 modulo Ram + 1 SD + rl (bomba + 2 ventiladores). Para subidas de tensión y cosas así pondré un cacharro de esos que hay de protección para el armario rack. Las he escogido por 3 razones fundamentales, precio, marca (Tacens tiene unos mínimos), por su radiador de 14cm de 10db solo.

Si algún día veo que monto una GPU o SLI de GTX para preview por GPU armare las gráficas en el 4930que que las soportara mejor con la Aerocol de 1150w. Si ya veo que monto todo de GPU pues entonces tocara cambiar las fuentes que será el menor de los problemas, pero para que llegue ese día uf estarán más que amortizadas. Lo único que espero es que den lo que se espera de ellas y no rompan otras piezas, tendré que comprobar su estabilidad y consumo.

Una cosa muy buena del sistema de bandejas es que te puedes hacer una configuración totalmente a tu medida. Me explico, puedes decidir la posición de todos los elementos e incluso mover y desplazarlos para dejar espacio para otro nuevo componente, radiador, fuente etc, por lo que es muy escalable casi sin limitaciones salvo la superficie. Incluso cada bandeja de 1,5 de acero soporta no sé cuántos kg (un montón) por lo que ya rizando el rizo y con algunas pletinas de bricolaje, puedes poner 2 nodos por bandeja uno por arriba y otro suspendido por debajo y duplicar tu espacio haciendo simetría de los elementos, vamos como una l una bien y otra invertida, que loco estoy. Esto ya es un comentario de una idea que se me acaba de ocurrir.

No sé si son razonamientos lógicos, pero son los que tuve para decidirme, si alguien no lo ve así sería interesante su opinión. Yo en mí profesión intento siempre controlar los posibles factores que pueden causar problemas y no dejar cosas al azar, pero son muchas cuestiones las que uno se plantea.

Cualquier pregunta o sugerencia es bien recibida.

[AlphaCAD]

Veo que tienes experiencia. Tu razonamiento en general me parece correcto, de hecho, en varios aspectos pensamos de forma similar.

Me preocupa ese disipador que por lo que parece tiene tubos con una calidad relativa y que podrían dar lugar a fugas. No digo que tenga qué pasar, pero sí he visto algún caso y al tratarse de varios multiplicas el riesgo.
¿Lo montaras tú todo configuración incluida?

[OGINTERIORES]

El tema de montaje de componentes si lo montare yo porque se montar ordenadores gamers y esto no puede ser muy diferente, a fin y al cabo es más bricolaje que otra cosa y las cosas mañosas no se me dan mal.

El tema de configuración, IPS, software de control, bueno hay si que voy muy perdido. Como siempre tendré que leer y leer hasta que lo consiga. De Linux no tengo ni idea, y de servidores tampoco. Y sino mirare de recurrir algún conocido que sabe más que yo de software de redes. Pero vamos que no es fácil encontrar alguien que sepa donde vivo actualmente.

Tenía pensado probar Windows server (versión?) y para el nas frenas que no los he visto nunca, pero Windows conozco el entorno y frenas es poca cosa, de dos, Linux y cosas así no sé nada.

Si puedes aconsejarme algún programa de control o gestión o lo que sea que se requiere para manejar la red se agradece. Y gracias por tus comentarios y cuestiones me ayudan a ver puntos de vista diferentes, ya que veo que eres el único que se molesta.

[AlphaCAD]

No es que yo sea el único que tiene interés en responder es que lo que estás preguntando es complejo y no es fácil responder ni aportar a este nivel.

No se trata de un tema convencional que se vea todos los días, sobre todo por la morfología que quieres darle ya que la mayoría de gente monta equipos en red, pero no racks como el que quieres montar que tienen sua parte adicional de brico y configuración extra.

Te recomiendo que hables con un técnico que te ayude con el tema de la configuración ya que será algo complejo que ira más, allá de mirar un manual puntual. No es algo que se pueda aprender en tan poco tiempo y necesitarás mano de obra especializada.

[OGINTERIORES]

Pues si tienes razón es algo complejo el tema y bueno creo que como siempre lo intentaré y si no lo veo claro o que funciona como debe pues recurriré a un profesional, pero tengo hecho cada cosa ya que, casi me atrevo con todo.

Por cierto, tienes razón que algún usuario ha tenido problemas con los H100i por lo que espero no tenerlos y si los tengo espero solucionarlos a tiempo.

Como puedes ver dejo pocas cosas al azar y cada día tengo nuevas ideas para mejorar el sistema. Me ha gustado la idea de tunear las RL con un deposito extra y cosas así, pero primero esta la garantía.

Ya cuando tenga el tema más avanzado pondré fotografías del invento. Que ganas ver cómo tira el bicho pasar de un QX6700 a esto puede ser efecto YEAH
Me gustaría conseguir que los 4 pcs para render funcionaran como 1 solo. Que en el administrador aparezcan los 16 Cores. Eso creo que se llama tipo cluster, pero no tengo ni idea.

Si alguien quiere aportar alguna idea, consejos, sugerencia el tema esta abierto.

[AlphaCAD]

Para poder hacer uso de la garantía ya sabes que no deberás hacer modificaciones sobre los componentes. Cualquier peritaje mínimo te la denegara si se detecta la más mínima modificación física.

Programas de gestión tienes varios para gestionar los sistemas, pero ya sabes que Vray en 3DsMax usa su propia interfaz para conectar los distintos equipos a través del net render.

Como programas de gestión remota tienes muchos, pero, por ejemplo, se podría usar Ultra VNC o algún derivado más sencillo como Log me in.

Está claro que te interesa usar Windows más que nada porque el software que usaras para trabajar te lo pide y creo que sería mejor que andar virtualizando desde otros sistemas que siempre te restaría a nivel de rendimiento.
Windows Server en sus distintas versiones está orientado a servidores y requiere de una configuración adicional, aunque eso ya tendría qué verlo el técnico que lo monte. Eso sí las licencias supondrían otro desembolsos importante que tendrías que pagar de forma adicional.

Y serían 32 Cores usando HT.

[OGINTERIORES]

El tema software tengo que pensarlo porque aún no se bien por dónde tirar.

Yo uso Vray con SketchUp, muy simple en todo, pero eficaz si lo usas bien. No soy una máquina del 3D solo hace 1 año que uso este estilo de trabajo, me funciona bien para expresar mis diseños y me ayuda mucho a vender mi producto realmente el cliente ve el espacio y su concepto.

[AlphaCAD]

¿Conoces las limitaciones de SketchUp? Lo digo porque es un programa que trabaja en 32 bits, aunque tú Windows y el resto de programas trabajen a 64 bits. El problema es que, al trabajar a 32 bits además de manejar la mitad de instrucciones y por tanto ser el doble de lento también tiene problemas para trabajar con la mayoría de trabajos complejos, aunque utilices una Quadro de última generación ya que la limitación está en el propio programa en sí.

En tu caso te estas librando por dos razones, estas utilizando una de las pocas gráficas que funciona bien con determinadas versiones de SketchUp y estarás trabajando con proyectos de exterior pequeños o de interior que no requieran de muchos elementos en pantalla.
¿Con que programas vas a trabajar además de ese?
No entiendo bien lo que quieres hacer con el equipo que monta el Pentium 4, para mí un nas es algo como esto y te olvidas de meter equipos de por medio. Lo conectas y lo gestionas sin equipos lentos que te puedan frenar como es el caso del que mencionas.

O pones Cat 5e (ojo con la e) o pones Cat 6, que para el caso te serviría igual. Aquí tienes las diferencias.

[OGINTERIORES]

Buenas AlphaCAD.

Sé que SketchUp no es ninguna maravilla, pero es muy fácil de usar y modelar con los plugins, para alguien que tiene que empezar en el 3D es sin duda el programa qué elige, el max se deja para gente muy especializada en 3D. Personalmente he probado 3D max hace unos años y es muy completo incluso llegaría a decir que demasiado completo y complejo para él tiempo que tengo por diseño y para aprender. Además, de que por aquel entonces todo estaba en inglés (aun hoy en día). Creo que con la mitad de parámetros pueden salir resultados muy óptimos. Claro que depende del nivel de cada uno y del requerimiento según a qué se destine el 3D. Lo mejor que le veo a Max es la cantidad de librerías, materiales y tutoriales que hay en red, pero mi uso es semi profesional.

Sin duda me gustaría más usar Max pero es casi prohibitivo, cientos de parámetros que no sabes ni para sirven y a veces la cosa más sencilla se complica exponencialmente. Lo dicho puede que algún día decida meterme en Max pero lo veo algo demasiado complejo para él fin que busco. Soy bastante novato aún, pero tengo algún trabajo con Skechtup que creo que no está nada mal. Hay usuarios con skechtup y Vray hacen renders impresionantes e imagino que algo tendrá que ver la máquina de render y sus capacidades personales. Yo ahora estoy limitado por la máquina para sacar altas resoluciones o calidades ultra en materiales.

Los otros programas, pues algo de CAD 2D, Adobe Photoshop, Illustrator y coreldraw, algo de Premier o Sony vegas y poco más, no tengo tiempo para liarme a aprender programas super profesionales esto se lo dejo a los estudiantes, aunque a veces me pica por probar cosas nuevas. Yo lo que no entiendo es gente que usa 5 motores de render para un mismo resultado o similar. El hecho de aprender a manejar cada software lleva una cantidad de horas brutales. Y después al manejar mucho software similar, pero diferente te crea confusiones en parámetros y funciones. Todo se traduce en horas y al final hay que ser productivo sino no vale para nada.

El tema del NAS es que, sinceramente me parecen un atraco en toda regla por lo que ofrecen y teniendo pcs sobrantes es una forma de reutilizar el hardware, no deja de ser una placa base con una controladora física raid y discos duros por lo que he leído. Puede que esté equivocado, pero me parece una burrada su precio para lo que hacen. No crees? ¿Lo mismo estoy equivocado ya que no se mucho del tema. Es que casi que prefiero poner el Quadcore con el 780i que es sata I, pero tengo una tarjeta Asus pc-i para sata I y SD. El p4 ya creo que será poco, pero me gustaría aprovecharlo para algo aparte de descargas.

Lo de CAT5e si ya e leído que es la mejora del CAT5 y bueno ya de tener que comprar por la diferencia cogería CAT 6.

[AlphaCAD]

La duda qué tengo es si el Vray integrado en SketchUp sabrá gestionar bien los equipos que quieres meter. No sé cual es el límite de equipos/núcleos que puede gestionar Vray para SketchUp.

Tengo claro que Vray tira exclusivamente de procesador y lo he visto funcionar con mini granjas, pero nunca con algo así. Ya nos contarás si lo consigues.

[OGINTERIORES]

Yo lo he visto funcionar con 16 máquinas en youtube. Ya cuando tenga todo el material iré poniendo el proceso como hice como con mis tutoriales de tunning pro ducati.