Joju's bizarre adventure @voidAvocado

ɔıuɐd lǝuɹǝʞ | Dev instagram.com/rotten.avocado Joined October 2013

Tweets

212
Followers

33
Following

2K
Likes

8K

Litzia @Litzia

a month ago

Cuando se dicen tus amigos pero de forma secreta se quieren robar a tus clientes, hablando mal de tu trabajo y sin razón. En vez de demostrar lo que pueden hacer ellos. Not so friendly anymore

0 1 6 381 0

View Details

Quieres correr un modelo de IA de 70B de parámetros o más pero no tienes una GPU con 80 GB de VRAM? Mesh LLM resuelve exactamente ese problema: te permite distribuir la inferencia de modelos grandes de lenguaje (LLMs) utilizando todos los dispositivos que ya tienes. Para qué sirve realmente? Mesh LLM convierte un grupo de computadoras (con GPUs normales) en un clúster de inferencia distribuida. Agrupa sus gpus y memorias y las expone como si fuera una sola API compatible con openAI (en `http://localhost:9337/v1`). Esto significa que puedes usar modelos mucho más grandes de lo que permite cualquier máquina individual, sin tener que comprar hardware caro ni depender de la nube. Cómo funciona su arquitectura inteligente? El sistema decide automáticamente la mejor forma de ejecutar cada solicitud: - Ejecución local: Si el modelo cabe completo en una sola máquina, lo ejecuta ahí mismo (más rápido y sin latencia de red). - Enrutamiento a peers: Si ninguna máquina individual puede con el modelo completo, lo redirige automáticamente a otro dispositivo de la red (un “peer”) que sí tenga capacidad. - Skippy Stage Splits (la parte más potente): Cuando el modelo es demasiado grande incluso para el nodo más potente, lo divide por capas (layers) y las distribuye en un pipeline entre varias máquinas. Cada dispositivo procesa solo una parte del modelo y pasa la información a la siguiente. Es como un ensamblaje en cadena. De esta forma, puedes correr modelos de 100B, 200B+ parámetros usando el hardware que ya tienes en casa, oficina o laboratorio. Ventajas principales: - Usa tu hardware existente (no necesitas una sola GPU monstruosa). - Totalmente open source y escrito en Rust. - API compatible con openAI → funciona con cualquier herramienta, agente o aplicación que ya uses. - Puedes crear meshes privados (con invitación) o unirte a meshes públicos. - Fácil de escalar: empiezas con un nodo y vas agregando más dispositivos cuando quieras. - Ideal para correr IA de forma local y privada. Si estás cansado de que los modelos grandes solo funcionen en la nube o necesites hardware extremadamente caro, Mesh LLM es una de las soluciones más interesantes y prácticas que han aparecido últimamente. Lo estoy probando actualmente, si te interesa hacerle research te recomiendo que lo guardes y entres al repositorio.

13 66 352 17K 339

View Details

Low Level @LowLevelTweets

2 years ago

after years of looking at code in a variety of languages from a variety of teams, I’ve decided: there is no good code. there are no good languages. all code is garbage. computers are garbage. return to monke

90 257 4K 200K 136

View Details

Héctor de León (El loco de los perros) ⛧ @powerhdeleon

2 years ago

En mis añitos viviendo, me he encontrado con una formula que no es perfecta, pero sirve bastante: Si usted es buena persona, seguro le pasaran cosas malas, pero a su vez, le van a pasar más cosas buenas.