Empresas terão de abrir a “caixa-preta” dos modelos ou perder competitividade
Gartner – Em novo relatório, a consultoria projeta que recursos de inteligência artificial explicável (XAI) e de observabilidade para grandes modelos de linguagem estarão presentes em 50% das implementações de IA generativa até 2028, salto expressivo frente aos 15% atuais.
- Em resumo: Transparência técnica e monitoramento virarão pré-requisito de negócios antes do fim da década.
Pressão regulatória acelera busca por transparência
Com legislações como o AI Act europeu ganhando corpo, cresce a demanda por modelos auditáveis. Segundo análise da MIT Technology Review, autoridades globais tendem a exigir trilhas de explicação que comprovem ausência de vieses e detalhem a origem dos dados de treinamento.
“XAI mostra por que o modelo respondeu daquele jeito, enquanto a observabilidade confirma como a resposta foi gerada e se é confiável”, destaca Pankaj Prasad, analista sênior do Gartner.
Mercado de US$ 75 bi e novos riscos empresariais
A consultoria calcula que o mercado de GenAI saltará de US$ 25 bilhões em 2026 para US$ 75 bilhões em 2029. Nesse cenário, plataformas de observabilidade já integram métricas como taxa de alucinação, uso de tokens e custo por chamada de API, apoiadas por padrões abertos (OpenTelemetry) e bancos vetoriais para rastreabilidade de prompts.
Para workloads críticos — financeiro, saúde e governo — a recomendação é incorporar testes contínuos de segurança e benchmarks de factualidade nos pipelines CI/CD, além de treinar equipes jurídicas em requisitos de explicabilidade.
O que você acha? Sua organização já mapeou como irá auditar os outputs dos LLMs? Para mais análises sobre IA, acesse nossa editoria especializada.
Crédito da imagem: Divulgação / IT Forum
