Projeto de inovação do ICT Itaú em parceria com Inova Talentos Pré-Requisitos: Formação: Mestre Cursos: Ciência da Computação, Engenharia da Computação, Sistemas de Informação, Ciência de Dados, Estatística, Matemática Aplicada, áreas correlatas à Computação, Inteligência Artificial, Machine Learning. Atividades: Desenvolver e executar experimentos para descobrir novas formas de avaliação de Large Language Models (LLMs) e agentes, investigando métricas de qualidade, factualidade, segurança e aderência a requisitos específicos. Desenvolver pipelines experimentais de LLM-as-a-Judge, incluindo construção de prompts, rubricas e protocolos de avaliação automática para análise escalável de respostas geradas por modelos de IA, misturando conceitos de Reinforcement Learning e Preference Optimization. Investigar e aplicar técnicas de otimização por preferências e aprendizado por reforço para melhoria contínua de modelos de linguagem, analisando impactos em qualidade, robustez e alinhamento. Realizar análises quantitativas dos resultados experimentais, documentando descobertas, propondo melhorias metodológicas e contribuindo para a definição de boas práticas em avaliação e otimização de LLMs Conhecimentos Necessários: Programação em Python. Conhecimento dos fundamentos de Machine Learning e Deep Learning. Familiaridade com Large Language Models (LLMs) e IA Generativa. Experiência com bibliotecas de desenvolvimento de modelos de IA (PyTorch e/ou Hugging Face Transformers). Capacidade de leitura e compreensão de artigos científicos em inglês. Conhecimentos básicos de experimentação, análise de resultados e avaliação de modelos. Requisitos técnicos desejáveis/ diferencial: Experiência com LLM Evaluation / LLM-as-a-Judge. Experiência com RLHF, DPO ou otimização por preferências. Participação em pesquisa científica/publicações em IA ou Machine Learning. Experiência com Agentes de Código (claude code, copilot, codex e afins). Informações adicionais: Disponibilidade: 40h semanais; Duração: 12 meses; Bolsa Auxílio: R$ 9.000,00 Atuação: Remota Local da empresa: Bairro do Jabaquara, SP Conheça o INOVA TALENTOS https://vimeo.com/676464243/165a0bf5f5 https://vimeo.com/fabrikafilmes/review/680121344/b5b3c6e91d (1344072096)

Exigências

• Escolaridade Mínima: Pós-graduação - Mestrado