A empresa Meta foi acusada de manipular um modelo de linguagem de intelig\u00eancia artificial (IA) para conseguir resultados melhores do que os verdadeiros em testes. O caso denunciado envolve o recente Llama-4 e a plataforma de benchmarks LMArena.<\/p>\n
Tudo come\u00e7ou ap\u00f3s a revela\u00e7\u00e3o da nova gera\u00e7\u00e3o de grandes modelos de linguagem (LLM) multimodais pela companhia. A vers\u00e3o intermedi\u00e1ria da tecnologia, chamada de Maverick, foi mostrada superando os rivais GPT-4o (da OpenAI)<\/a> e Google Gemini 2.0 Flash.<\/p>\n Na divulga\u00e7\u00e3o, a Meta cita que esse modelo oferece “desempenho l\u00edder na ind\u00fastria e sem precedentes em compreens\u00e3o de texto e imagem, permitindo a cria\u00e7\u00e3o de aplica\u00e7\u00f5es sofisticadas de IA”. E ele \u00e9 mesmo poderoso, mas a discrep\u00e2ncia em respostas de diferentes vers\u00f5es do que deveria ser um mesmo modelo gerou toda a pol\u00eamica.<\/strong><\/p>\n Como o pr\u00f3prio LMArena confirmou em uma postagem no X (antigo Twitter)<\/a>, a Meta enviou para a plataforma a vers\u00e3o Llama-4-Maverick-03-26-Experimental do servi\u00e7o. S\u00f3 que esse \u00e9 um modelo personalizado, indispon\u00edvel ao p\u00fablico por enquanto e otimizado para ter certos comportamentos em intera\u00e7\u00f5es com humanos<\/strong> \u2014 exatamente o crit\u00e9rio mais usado para qualificar os LLMs pelos avaliadores.<\/p>\n Testes independentes feitos por usu\u00e1rios no X indicam que o modelo experimental tende a usar mais emojis na comunica\u00e7\u00e3o e ser bem-humorado<\/strong>, enquanto o Maverick finalizado \u00e9 mais formal e objetivo na entrega de conte\u00fados de um prompt.<\/p>\n The Llama 4 model that won in LM Arena is different than the released version. I have been comparing the answers from Arena to the released model. They aren”t close.<\/p>\n The data is worth a look also as it shows how LM Arena results can be manipulated to be more pleasing to humans. https:\/\/t.co\/7yCd3CiJ42<\/a> pic.twitter.com\/A6Yirn04g7<\/a><\/p>\n \u2014 Ethan Mollick (@emollick) April 8, 2025<\/a><\/p><\/blockquote>\n<\/div>\n Agora, o quadro de l\u00edderes do LMArena<\/a> especifica que a vers\u00e3o do Maverick envolvida nos testes \u00e9 experimental, enquanto o Gemini 2.5 Pro <\/a>que atualmente lidera a lista e o GPT-4o, que ficou logo atr\u00e1s no terceiro lugar, j\u00e1 s\u00e3o est\u00e1veis e foram disponibilizadas ao p\u00fablico.<\/p>\n A resposta da Meta por enquanto partiu de Ahmad Al-Dahle, chefe da divis\u00e3o de IA generativa da companhia. O grupo, que tamb\u00e9m \u00e9 dono dos servi\u00e7os Facebook, Threads, WhatsApp e Instagram, ainda n\u00e3o se pronunciou oficialmente.<\/p>\n Tamb\u00e9m por meio de um post no X<\/a>, o executivo rejeitou as acusa\u00e7\u00f5es de manipula\u00e7\u00e3o e deu a vers\u00e3o da companhia sobre o que foi registrado nos benchmarks. Segundo ele, o problema est\u00e1 em resultados diferentes do LLM exibidos nestes primeiros momentos<\/strong>, enquanto ele ainda processa pedidos e respostas.<\/p>\n “Ouvimos alega\u00e7\u00f5es de que treinamos em conjuntos de teste \u2014 o que simplesmente n\u00e3o \u00e9 verdade, nunca far\u00edamos isso. Entendemos que a qualidade vari\u00e1vel que as pessoas est\u00e3o vendo \u00e9 necess\u00e1ria at\u00e9 que as implementa\u00e7\u00f5es sejam estabilizadas”, explica. Segundo Ahdmad, alguns dias seriam necess\u00e1rios at\u00e9 que a qualidade nas respostas seja unificada<\/strong>.<\/p>\n O Llama 4 \u00e9 a nova vers\u00e3o dos LLMs multimodais da Meta, capazes de processar e gerar conte\u00fado envolvendo texto, \u00e1udio, imagem e v\u00eddeo.<\/p>\n Ela \u00e9 composta por tr\u00eas variantes: o Scout, que \u00e9 o modelo mais b\u00e1sico; o Maverick, para processar grandes quantidades de dados e voltada para empresas; e o Behemoth, que pode ser usado para criar at\u00e9 outros modelos de IA tamanha a performance.<\/p>\n Al\u00e9m de fornecer os LLMs para aplica\u00e7\u00e3o em produtos e servi\u00e7os de outras companhias, a Meta tamb\u00e9m come\u00e7ou a incorporar o Llama 4 em seu pr\u00f3prio ecossistema<\/strong>. Isso significa que logo ser\u00e1 poss\u00edvel notar a diferen\u00e7a na intera\u00e7\u00e3o com a Meta AI<\/a>, por exemplo, e recursos inteligentes em plataformas como o Instagram.<\/p>\n Do trio, apenas o Behemoth ainda n\u00e3o foi disponibilizado e segue em desenvolvimento<\/strong>, apesar de ter “resultados promissores”. Os demais modelos j\u00e1 podem ser baixados e testados por f\u00e3s e desenvolvedores no site da Meta<\/a>.<\/p>\n O TecMundo testou o ChatRTX, servi\u00e7o da Nvidia para executar um chatbot de IA localmente, sem internet e em qualquer computador. Confira neste especial o que achamos da plataforma<\/a>.<\/p>\n<\/div>\n\n
O que a Meta diz sobre a trapa\u00e7a?<\/h2>\n
O que \u00e9 o Llama 4 da Meta?<\/h2>\n
![\"07150442135014](\"https:\/\/tm.ibxk.com.br\/2025\/04\/07\/07150442135014.jpg\" "\\"\\"")