task_family: soporte

prompt: Resume la incidencia de un despliegue fallido y propone el siguiente paso operativo.

chosen: El despliegue falló en la migración `2026_06_add_priority`. Revisa el log del job, ejecuta rollback de schema si la columna no existe y abre una tarea para válidar el contrato de migraciónes antes de reintentar.

rejected: Hubo un problema en el despliegue. Lo mejor es revisar todo con calma y volver a lanzar cuando parezca correcto.

preference_reason: La respuesta elegida identifica causa, evidencia y acción verificable; la rechazada no deja un paso ejecutable.

reference_answer: Debe incluir causa probable, log o migración y acción siguiente.

notes: contiene causa y siguiente acción


task_family: rag

prompt: Contesta una duda de política interna usando solo los fragmentos recuperados y cita el documento.

chosen: Según `POL-TRAVEL-04`, el reembolso de taxi nocturno se permite si el viaje termina después de las 22:00 y se adjunta recibo. No encuentro excepciones para viajes personales, así que no lo afirmaría.

rejected: La empresa suele permitir taxis por la noche, probablemente puedes pedir el reembolso si tienes recibo.

preference_reason: La respuesta elegida cita fuente, limita alcance y evita inferencia no soportada.

reference_answer: Debe citar POL-TRAVEL-04 y condiciónar al recibo.

notes: cita documento y evita extrapolar


task_family: sql

prompt: Escribe una consulta SQL para calcular tickets reabiertos por semana desde una tabla `tickets`.

chosen: SELECT DATE_TRUNC('week', closed_at) AS week, COUNT(*) FILTER (WHERE reopened_at IS NOT NULL) AS reopened_tickets FROM tickets WHERE closed_at >= DATE '2026-01-01' GROUP BY 1 ORDER BY 1;

rejected: SELECT week, COUNT(reopened) FROM tickets GROUP BY week;

preference_reason: La elegida define semana, filtro temporal, condición de reapertura y agrupación ejecutable.

reference_answer: Debe agrupar por semana y contar reopened_at no nulo.

notes: consulta parseable en Postgres


prompt: Devuelve un JSON con categoría, prioridad y siguiente_paso para una solicitud de matrícula urgente.

chosen: {"categoría":"matrícula","prioridad":"alta","siguiente_paso":"revisar expediente y comprobar pago pendiente"}

rejected: La solicitud parece importante, habría que revisar la matrícula pronto.

preference_reason: La elegida cumple contrato JSON y campos; la rechazada no es parseable por el sistema.

reference_answer: JSON válido con categoría matrícula y prioridad alta.

notes: json valido y campos presentes


task_family: razonamiento

prompt: Si una cola procesa 80 peticiones/minuto y llegan 68 peticiones/minuto, calcula la utilización.

chosen: La utilización es rho = lambda / mu = 68 / 80 = 0.85. El sistema usa el 85 % de su capacidad media; queda margen, pero no mucho para picos.

rejected: La cola está bastante ocupada, aproximadamente al 80 %, así que debería funciónar bien.

preference_reason: La elegida muestra fórmula y cálculo exacto; la rechazada aproxima sin justificar.

notes: resultado exacto


task_family: codigo

prompt: Escribe una función Python que valide si un evento tiene `event_id`, `action` y `reward`.

chosen:
def válidate_event(event):
    required = {"event_id", "action", "reward"}
    missing = sorted(required - set(event))
    return {"valid": not missing, "missing": missing}

rejected:
def válidate_event(event):
    return event is not None

preference_reason: La elegida comprueba campos concretos y devuelve errores acciónables; la rechazada no válida contrato.

reference_answer: Debe revisar tres campos y reportar faltantes.

notes: pasa tests básicos


task_family: agentes

prompt: Un agente quiere llamar a una herramienta de facturación. Decide si debe pedir aprobación humana.

chosen: Debe pedir aprobación si la llamada cambia estado, emite factura, modifica datos fiscales o supera el límite configurado. Si solo consulta estado, puede ejecutarse con permiso de lectura y traza.

rejected: Si el agente confía en la herramienta, puede llamar directamente y luego avisar al usuario.

preference_reason: La elegida separa lectura y escritura, permisos y trazabilidad; la rechazada no controla cambios de estado.

reference_answer: Debe pedir aprobación para cambios de estado o límites altos.

notes: menciona cambio de estado y trazas


task_family: evaluación

prompt: Propón tres métricas para evaluar un asistente RAG interno.

chosen: Usaría: tasa de respuesta con cita válida, exactitud de respuesta revisada por muestra humana y latencia p95. Separaría resultados por tipo de documento y criticidad.

rejected: Mediría si las respuestas son buenas, si el usuario queda satisfecho y si el sistema parece rápido.

preference_reason: La elegida define métricas medibles y segmentación; la rechazada usa términos no operativos.

reference_answer: Debe incluir cita válida, calidad y latencia con slices.

notes: requiere evaluación humana


task_family: privacidad

prompt: Explica cómo registrar una traza sin guardar datos personales directos.

chosen: Guarda IDs técnicos, hashes estables si son necesarios, categoría del dato, versión de política, decisión tomada y motivo. No guardes texto literal sensible si basta con una referencia segura.

rejected: Guarda toda la conversación para poder depurar mejor y borra lo que no necesites cuando acabe el proyecto.

preference_reason: La elegida minimiza datos y mantiene auditabilidad; la rechazada propone recopilar más de lo necesario.

reference_answer: Debe aplicar minimización y mantener trazabilidad técnica.

notes: requiere revisión legal y técnica