AI QA & Evaluation Engineer

AI QA & Evaluation Engineer

Activa - Comprobada hace 4h
Tipo de Contrato: Otro / No especificado
Jornada Laboral: Otro / No especificado
Modalidad: Otro / No especificado
Salario anual bruto: No especificado
Años de experiencia: No especificado
Nivel Educativo: Otro / No especificado
Idiomas: Inglés,Castellano

Descripción del puesto

  • Diseñar e implementar estrategias de pruebas para sistemas de IA/ML, incluyendo precisión, sesgo, robustez y pruebas de regresión.
  • - Diseñar e implementar estrategias de pruebas para sistemas de IA/ML, incluyendo precisión, sesgo, robustez y regresión.
  • - Automatizar suites de validación y pipelines CI/CD para modelos ML y sistemas multiagente.
  • - Documentar observaciones de comportamiento de agentes, evaluar grounding de respuestas y reportar hallazgos de sesgos o alucinaciones.

Requisitos clave

  • - Dominio de Python, TypeScript u otros lenguajes utilizados en IA y automatización de pruebas.
  • - Experiencia en diseño o aplicación de evaluaciones basadas en rúbricas y marcos de evaluación de llm, con benchmarking.
  • - Conocimiento de soluciones GenAI (RAG), Azure OpenAI/Vertex AI/ChatGPT Enterprise y plataformas en la nube (Azure, AWS, GCP).