Model Ops

Una capa de modelos gobernada para cada proveedor.

Enruta cada ejecución de agente por Anthropic, Gemini, OpenAI, Mistral, Groq, xAI y Cohere — o por tus propios modelos locales — a través de un único broker de políticas y cuotas. Elige el modelo por capacidad y coste, fíjalo por residencia de datos y no dejes nunca que un agente llegue a un modelo que no tiene permitido usar.

Adaptadores activos: Anthropic · Gemini · claves cifradas en reposo con AES-256-GCM

Model Ops
Enrutadorpolítica + cuotaAnthropiccuota 90%Geminicuota 79%OpenAIcuota 68%Mistralcuota 57%Groqcuota 46%vLLM (local)byo · residencia
model-ops ▸ enrutamiento multiproveedor · cuotas · modelo propio (BYO)
El problema

Fijar un único modelo en el código es un punto único de fallo.

Cuando las claves de los proveedores viven repartidas en archivos .env y la elección del modelo está incrustada en cada agente, no puedes cambiar de proveedor cuando uno se degrada, ni aplicar un límite de residencia de datos, ni impedir que un agente llame a un modelo que tu política prohíbe. Model Ops convierte el modelo en un ajuste gobernado e intercambiable: claves cifradas en reposo, nunca devueltas, y cada ruta aplicada por la misma compuerta que gobierna el resto de la plataforma.

Cómo funciona

Un enrutador que decide qué modelo — y si siquiera está permitido.

Cada ejecución se resuelve en un modelo a través de un único broker: la política y la lista de permitidos de la identidad del agente deciden qué proveedores son elegibles, las cuotas y el gasto en vivo deciden la capacidad, y la capacidad técnica y el coste deciden la elección. Configura una clave de proveedor una sola vez en Ajustes · Proveedores de IA y los agentes que coincidan pasan de inmediato del mock determinista a llamadas reales al modelo — sin redespliegue.

  • Las listas de permitidos de Agent IAM aplican el conjunto de modelos: lo que queda fuera se resuelve como 403 MODEL_NOT_ALLOWED
  • Las claves se cifran en reposo con AES-256-GCM y nunca se devuelven: la interfaz solo muestra •••• y los cuatro últimos caracteres
  • El modo de ejecución está gobernado: auto pasa a real cuando hay una clave, live exige una y mock fuerza el modo determinista
  • Cambia o desactiva un proveedor de forma centralizada: cada agente que coincida se reenruta sin tocar el código
Model Ops
Enrutadorpolítica + cuotaAnthropiccuota 90%Geminicuota 79%OpenAIcuota 68%Mistralcuota 57%Groqcuota 46%vLLM (local)byo · residencia
model-ops ▸ enrutamiento multiproveedor · cuotas · modelo propio (BYO)
Qué gobierna Model Ops

Enrutamiento, cuotas, endpoints y tus propios modelos — bajo un solo broker.

La capa de modelos completa: qué proveedores son accesibles, cuánto pueden gastar en ellos cada agente y cada inquilino, dónde se permite ejecutar las solicitudes y cómo incorporar tus propios modelos locales al mismo entorno de ejecución gobernado.

Enrutamiento multiproveedor
  • Anthropic (Claude) · adaptador activo
  • Google Gemini · adaptador activo
  • OpenAI · Mistral · Groq · xAI · Cohere · adaptadores incluidos, se habilitan por inquilino
  • Modelos locales vía vLLM · Ollama · TGI
  • Enruta por capacidad, coste o alternativa de respaldo
Cuotas y broker de cómputo
  • Cuotas de modelo por agente y por inquilino
  • El gasto en vivo alimenta los topes del gobierno de costos
  • Enrutamiento consciente de la capacidad cuando aprieta la cuota
  • Selección de modelo según capacidad y coste
Credenciales y endpoints
  • Configura las claves en Ajustes · Proveedores de IA, sin tocar el .env
  • Cifradas en reposo con AES-256-GCM, nunca devueltas
  • Estado: sin configurar · configurado · desactivado · activo
  • Activar / desactivar / rotar por proveedor
Modelos locales propios
  • Endpoints de vLLM · Ollama · TGI
  • Modelos autoalojados en el mismo broker
  • Despliegue aislado de red y en VPC
  • Fijación de residencia por proveedor / región
De la clave a la ejecución gobernada

Configúralo una vez. Cada agente que coincida se reenruta.

  1. 01

    Registrar proveedores

    Añade claves de proveedores alojados (Anthropic, Gemini, …) o apunta el broker a un endpoint local de vLLM / Ollama / TGI. Las claves se cifran en reposo y se enmascaran en todas partes.

  2. 02

    Definir listas de permitidos y cuotas

    Agent IAM fija los modelos permitidos de cada agente; las cuotas y los presupuestos de 30 días limitan el gasto. Las reglas de residencia fijan dónde se permite ejecutar las solicitudes.

  3. 03

    Enrutar y aplicar

    El broker elige un modelo elegible por capacidad y costo. Las llamadas fuera de lista fallan con 403; las ejecuciones por encima del límite fallan con 402. Cada elección queda registrada en el Trust Ledger.

Demuéstralo — no te limites a afirmarlo

Cada ruta se aplica y se registra.

El broker devuelve los mismos veredictos con denegación por defecto que el resto del entorno de ejecución — y cada resolución es auditable.

model-ops ▸ resoluciones de ruta
Triaje de fraudeclaude-opus · enrutado · $0.018200 enrutado
Filtro KYCsolicitó gpt-4o · fuera de la lista de permitidos403 MODEL_NOT_ALLOWED
Resumidor masivotope de 30 días alcanzado · $10,000402 BUDGET_EXCEEDED
Revisor localvLLM · eu-central · residencia correcta200 enrutado
Extractor de documentosclave de OpenAI guardada · proveedor no habilitadono habilitado
trust-ledger ▸ cada resolución de modelo queda registrada con proveedor, coste y veredicto
Funciona con el resto del entorno de ejecución

Model Ops es una compuerta más de la cadena.

La capa de modelos se conecta a la misma maquinaria de identidad, presupuesto y auditoría que gobierna cada ejecución.

Seguridad y cumplimiento

Una capa de modelos que tu revisión de seguridad puede aprobar.

Credenciales cifradas, enrutamiento con denegación por defecto, fijación de residencia de datos y modelos locales propios para despliegues aislados de red — todo mapeado a los marcos que tus auditores ya utilizan.

SOC 2ISO 27001ISO 42001GDPREU AI ActNIST AI RMF

Gobierna el modelo, no solo el agente.

Coloca cada proveedor — alojado o local — detrás de un único broker que enruta según la política, limita según el presupuesto y demuestra cada elección.

Operación y enrutado de modelos de IA | Cortex AI OS