InferBox

Serveur d’inférence GPU auto-hébergé compatible avec l’API OpenAI. Embeddings, rerankers, LLM, STT, génération d’images. Micro-batching, décodage spéculatif, conscient du multi-GPU. En usage quotidien sur une RTX 3060 de 12 Go.

https://github.com/joseluissaorin/InferBox