Nvidia entend accélérer l'inférence avec son orchestrateur open source Dynamo
Selon le fournisseur de puces, son logiciel d'inférence open source, appelé à remplacer le serveur d'inférence Triton, augmente le débit et réduit le coût de génération de jetons...