Softgic está buscando un especialista remoto para controlar el eval harness y la calidad del agente. Este rol reemplaza el antiguo modelo de “Evals Specialist”. Las responsabilidades incluyen la construcción de un MVP, la integración de evaluaciones en CI y la definición de umbrales de liberación.
Se requiere experiencia en la evaluación de sistemas de ML y habilidades en scripting. La automatización de pruebas y la capacidad para trabajar con métricas ruidosas son fundamentales para el éxito en esta posición.