Benchmark de LLMs em SAP ABAP
Qual LLM escreve o melhor ABAP?
Dez desafios do dia a dia de quem programa em S/4HANA, de Open SQL a RAP. Cada modelo recebe só o enunciado, sem contexto, a sintaxe é conferida pelo ARC-1 e um juiz cego dá a nota.
Ranking
Nota × Custo
Custo médio por resposta, escala logarítmica
Melhor nota por empresa
O melhor modelo de cada uma
Modelo × Desafio
Nota em cada desafio. Clique para ver as respostas.
Desafios
O melhor modelo de cada desafio no filtro atual. Abra o desafio para ler o enunciado.