InferBox

Server di inferenza GPU self-hosted compatibile con l’API OpenAI. Embedding, reranker, LLM, STT, generazione di immagini. Micro-batching, decodifica speculativa, consapevole del multi-GPU. In uso quotidiano su una RTX 3060 da 12 GB.

https://github.com/joseluissaorin/InferBox