Un développeur crée un wrapper LLM façon Jev qui interroge les modèles de vision via les logprobs

Un développeur vient de publier un wrapper expérimental pour LLM qui ramène les requêtes texte et vision à un unique appel de fonction, dans l'esprit minimaliste du style d'API « Jev ». Plutôt que de dépendre des sorties structurées natives ou des points d'accès de tool-calling, ce wrapper interroge les modèles vision-langage en examinant les logprobs des tokens — les scores de probabilité associés à chaque token candidat — afin de déterminer la réponse privilégiée par le modèle.

Pourquoi les logprobs comptent pour la vision

Les logprobs exposent la distribution de confiance interne du modèle, ce qui permet au wrapper de noter des réponses candidates comme « oui », « non » ou une étiquette courte, sans jamais demander au modèle de produire du JSON formaté. C'est essentiel, car de nombreux modèles vision-langage proposent encore un support de sortie structurée peu fiable, et l'analyse de texte libre reste fragile. En lisant la masse de probabilité attribuée à chaque token candidat, le wrapper force un choix déterministe tout en gardant le prompt simple.

Cette méthode rappelle les travaux antérieurs sur la classification par logprobs, où comparer la probabilité de deux tokens s'avère souvent plus stable que de demander au modèle d'auto-déclarer une étiquette. Étendre cette technique aux images permet à une seule fonction d'accepter une chaîne ou une image, de l'envoyer au bon modèle et de renvoyer une réponse normalisée.

Une seule fonction, plusieurs modèles

L'objectif de conception est l'uniformité : un point d'entrée gère les complétions de chat, l'inférence vision et la classification légère. Le développeur fournit un prompt et éventuellement une image, et le wrapper décide s'il faut passer par un modèle texte ou un modèle vision-langage. Comme l'interface est étroite, changer de fournisseur devient une modification de configuration plutôt qu'une réécriture.

Cela reflète un mouvement plus large dans l'écosystème des outils LLM, où des couches d'abstraction comme LiteLLM et OpenRouter ont gagné du terrain en masquant les particularités de chaque fournisseur. L'astuce des logprobs ajoute une seconde couche d'abstraction — celle du parsing de sortie — qui est sans doute le problème le plus douloureux pour les équipes qui livrent des fonctionnalités de vision.

Ce que cela change pour les développeurs

Pour les équipes qui prototypent des agents multimodaux, un wrapper piloté par les logprobs réduit le code de liaison nécessaire pour obtenir des réponses fiables des modèles de vision. Il ouvre aussi la voie à des pipelines conscients de la confiance, où un score faible déclenche une nouvelle tentative ou l'escalade vers un modèle plus puissant.

Le compromis réside dans le support des fournisseurs : toutes les API n'exposent pas les logprobs, et les points d'accès vision sont moins homogènes que ceux du texte. Le motif gagne néanmoins en attention, car il traite le modèle comme un composant probabiliste plutôt qu'un générateur de texte, ce qui correspond mieux aux besoins réels des systèmes en production.