Benchmark de LLMs em SAP ABAP
Qual LLM escreve o melhor ABAP?
Dez desafios do dia a dia de quem programa em S/4HANA, de Open SQL a RAP. Cada modelo recebe só o enunciado, sem contexto, a sintaxe é conferida pelo ARC-1 e um juiz cego dá a nota.
Ranking
Nota × Custo
Melhor nota por empresa
O melhor modelo de cada uma
Modelo × Desafio
Desafios
Faixa das notas de todos os modelos em cada desafio (o traço é a mediana) e o melhor modelo. Abra o desafio para ler o enunciado.