Aller au contenu

Docs · Internals

Routage cognitif : comment un modèle est choisi

Le routage cognitif laisse Project Orchestrator choisir le provider et le modèle d'un travail à votre place. Il commence par observer, pas par agir. Cette page détaille ce que fait chaque mode, ce qui n'est jamais remplacé et comment lire une décision.

Ce que ça fait

Trois modes. Primary ne change rien : chaque requête va là où elle va aujourd'hui. Mixed laisse PO router les exécutants pendant que le pilote reste sur le primaire. Full laisse PO router tout le monde.

Une étape fixe jusqu'où il peut agir. Shadow enregistre ce qu'il aurait choisi et n'applique rien. Advisory s'applique aux exécutants seulement. Auto applique selon le mode. Le défaut est primary et shadow, c'est-à-dire l'identité.

Un provider, un modèle, un alias ou un run que vous avez nommé n'est jamais remplacé. Chaque décision automatique est enregistrée avec sa raison, ses alternatives et pourquoi les autres ont été écartées, et peut être recalculée au même résultat.

Le schéma

Comment une décision de routage est priseSchéma de flux. Les réglages donnent un mode (primary, executors_only ou full) et une étape (shadow, advisory ou auto), le projet l'emportant sur le global, et seule une personne peut les changer. Une signature de tâche décrit la requête sans appeler aucun modèle. Un choix explicite saute le filtre et n'est jamais remplacé. Des contraintes dures écartent les modèles incapables de faire le travail ; s'il n'en reste aucun, les règles déclarées s'appliquent et la décision dit aucun candidat. Les modèles restants sont notés à partir du succès appris moins le coût et la latence pondérés, avec une exploration plafonnée dont la graine est l'identifiant de la décision. Le choix est appliqué ou non selon le mode, l'étape et le rôle : il prend la place de la règle de projet avec routed_by auto, ou il est seulement enregistré comme choix d'ombre. Chaque décision est stockée avant d'être rendue. Le résultat devient une récompense qui met à jour le bras choisi une fois, alimente un rapport d'ombre et peut ramener l'étape à shadow. En mode full, le modèle peut aussi changer entre deux tours sur le même provider. Un dernier nœud liste ce que le diagramme vérifié n'établit pas.nobody leftprimary or shadow: neverexecutors_only: executors,full: everyoneadvisory: executors onlystage back to shadowsettings: mode primary, executors_only or full (theconversation menu says mixed)stage shadow, advisory or autodefault is primary and shadowproject overrides global, humans onlytask signatureclass, size, context needed, tools, images, budgetno network call, no model callexplicit choicerequest, task, persona or runnever enters the filter, never substitutedhard constraints, first failing one is reportedconsent, health, tools, context window, images, budget, trustan unknown window is rejected, never assumedno candidatedeclared rules apply unchangeddecision says no_candidatescore each modellearned success draw minus weighted cost and latencyexploration capped at 25 percentseeded by the decision id, so replayableapplied?mode x stage x roleapplied: fills the project rule slotrouted_by = auto, with a readable reasonnot applied: only recorded as the shadow pickeverything else identicalevery decision is stored before it is returnedapplied or not, with alternatives and rejectionsfull mode, per turnmay change the model of the same providerper-class anti-flapping: re-route once the class changesoutcome to rewardsuccess, attempts, verification, marginal costclosed once per decision, updates the chosen armshadow report, humans onlyagreement rate, estimated cost gapmeasures cost, not qualityautomatic demotion to shadowwhen learned picks fall clearly below the baselinelimits of the verified diagramthe compaction model choice is recorded, not appliedthe arm and decision queries run in CI onlythe cost gap is empty when no price is knownClaude Code is a candidate only when its window is known(live catalog); offline, never

Fais glisser pour te déplacer. Pince, Ctrl + molette ou les touches + et - pour zoomer ; flèches pour bouger ; 0 ou double-clic pour ajuster. Choisis un nœud pour allumer ses liens.

DézoomerZoomerPlein écran
Redessiné depuis le diagramme vérifié po-cognitive-routing (vérifié 8b0b020f). Les libellés sont les noms utilisés dans le code.
Description textuelle du schéma

Schéma de flux. Les réglages donnent un mode (primary, executors_only ou full) et une étape (shadow, advisory ou auto), le projet l'emportant sur le global, et seule une personne peut les changer. Une signature de tâche décrit la requête sans appeler aucun modèle. Un choix explicite saute le filtre et n'est jamais remplacé. Des contraintes dures écartent les modèles incapables de faire le travail ; s'il n'en reste aucun, les règles déclarées s'appliquent et la décision dit aucun candidat. Les modèles restants sont notés à partir du succès appris moins le coût et la latence pondérés, avec une exploration plafonnée dont la graine est l'identifiant de la décision. Le choix est appliqué ou non selon le mode, l'étape et le rôle : il prend la place de la règle de projet avec routed_by auto, ou il est seulement enregistré comme choix d'ombre. Chaque décision est stockée avant d'être rendue. Le résultat devient une récompense qui met à jour le bras choisi une fois, alimente un rapport d'ombre et peut ramener l'étape à shadow. En mode full, le modèle peut aussi changer entre deux tours sur le même provider. Un dernier nœud liste ce que le diagramme vérifié n'établit pas.

Lecture guidée

  1. Étape 1. Les réglages

    Un mode (primary, executors_only ou full) et une étape (shadow, advisory ou auto), réglés globalement avec une surcharge par projet. Le défaut est primary et shadow. Seule une personne peut les changer : un jeton d'agent est refusé avec 403, et un mode inconnu ou un poids hors bornes donne un 400 typé qui ne stocke rien.

  2. Étape 2. La signature de la tâche

    Classe (simple, complex, creative, retry, utility ou chat), taille, contexte nécessaire, outils, images et budget restant. Elle est calculée sans appel réseau ni appel de modèle, et ne dépend pas de la langue de la requête. Toute tentative après la première est un retry.

  3. Étape 3. Les contraintes dures

    Un modèle qui en échoue une est écarté, et la première raison en échec est celle qui est enregistrée : une machine distante n'est jamais candidate, puis consentement, santé, appel d'outils, fenêtre de contexte, images, budget et confiance. Une fenêtre inconnue est rejetée, jamais supposée. Un prix inconnu passe mais n'est jamais compté comme gratuit. Un choix que vous avez nommé n'entre jamais dans ce filtre.

  4. Étape 4. La notation

    Chaque couple classe, provider et modèle est un bras avec un historique de succès stocké. Un tirage dans cet historique, moins le coût et la latence pondérés, donne l'utilité. Les alias deep et fast ne font qu'amorcer un bras neuf et ne sont jamais une règle. L'exploration est plafonnée à 25 pour cent et sa graine est l'identifiant de la décision : mêmes entrées, même décision.

  5. Étape 5. Appliqué ou seulement enregistré

    Primary et shadow n'appliquent jamais. Mixed applique aux exécutants. Full applique à tous. Advisory applique aux exécutants seulement, le pilote est conseillé mais pas déplacé. Un choix appliqué prend la place de la règle de projet avec routed_by auto et une raison lisible. Sinon il est stocké comme choix d'ombre et tout le reste reste identique.

  6. Étape 6. Le journal des décisions

    La décision est écrite avant d'être rendue, appliquée ou non, avec ses alternatives du meilleur au pire et les écartées avec leur raison. La raison tient en une phrase sans URL ni secret. Si aucun modèle ne convient, les règles déclarées s'appliquent sans changement et la décision dit aucun candidat.

  7. Étape 7. Apprentissage, rapport et rétrogradation

    Quand le travail se termine, le résultat devient une récompense entre 0 et 1 à partir du succès, des tentatives, de la vérification et du coût marginal, et met à jour le bras choisi une fois. Un rapport d'ombre montre le taux d'accord et l'écart de coût estimé sur une même base de prix. À l'étape auto, si les choix appris passent nettement sous la référence des choix non appliqués, l'étape revient à shadow.

  8. Étape 8. Par tour en mode full

    En mode full à l'étape auto, le modèle du même provider peut changer entre deux tours, au plus une fois par tour et jamais deux tours de suite. Une session garde toujours un seul provider. Une erreur ou une décision qui dépasse 2 secondes laisse le modèle inchangé.

Pourquoi c'est conçu ainsi

D'abord l'ombre

Enregistrer ce qu'il aurait choisi avant d'agir permet de lire l'écart de coût sur du trafic réel avant d'activer quoi que ce soit, et l'étape revient d'elle-même à shadow si un choix appris sous-performe.

Explicite veut dire explicite

Un modèle substitué change le coût et la destination de vos données sans vous prévenir. Un choix que vous avez nommé n'est jamais remplacé, et la décision est tout de même enregistrée.

Une graine, donc rejouable

L'exploration est aléatoire mais sa graine est l'identifiant de la décision. N'importe qui peut recalculer une décision depuis ses entrées et obtenir la même réponse, ce qui rend un choix automatique vérifiable.

Inconnu ne veut pas dire gratuit

Un prix inconnu ne compte jamais pour zéro. Le rapport ignore les décisions qu'il ne peut pas chiffrer sur une même base et les compte, et l'écart de coût reste vide plutôt qu'inventé.

Le rapport mesure le coût, pas la qualité

Le rapport d'ombre compare l'accord et le coût estimé. Savoir si le modèle moins cher était aussi bon s'apprend lentement par la récompense, il ne se lit pas dans le rapport.

Ce qui n'est pas établi

  • Le choix du modèle de compaction est enregistré dans le rapport fantôme mais n'est pas appliqué : aucun des deux moteurs ne permet au résumé de choisir son modèle.
  • Les requêtes qui stockent les bras et les décisions dans le graphe n'ont tourné qu'en intégration continue, pas sur une machine de développement.
  • Hors ligne, Claude Code n'est jamais candidat : sa fenêtre de contexte est inconnue, et l'interface n'a pas encore de libellé pour ce cas.
  • L'écart de coût estimé est vide quand le pool ne connaît aucun prix pour les modèles concernés.
  • La santé est lue par le contrôle propre à chaque provider, mise en cache 60 secondes, et jamais contre une vraie instance distante.