{"id":34374,"date":"2025-02-12T10:03:26","date_gmt":"2025-02-12T13:03:26","guid":{"rendered":"https:\/\/tiproject.online\/index.php\/2025\/02\/12\/ias-rebeldes-sao-impossiveis-de-prever-ou-controlar-diz-pesquisador\/"},"modified":"2025-02-12T10:03:26","modified_gmt":"2025-02-12T13:03:26","slug":"ias-rebeldes-sao-impossiveis-de-prever-ou-controlar-diz-pesquisador","status":"publish","type":"post","link":"https:\/\/tiproject.online\/index.php\/2025\/02\/12\/ias-rebeldes-sao-impossiveis-de-prever-ou-controlar-diz-pesquisador\/","title":{"rendered":"IAs &#8216;rebeldes&#8217; s\u00e3o imposs\u00edveis de prever ou controlar, diz pesquisador"},"content":{"rendered":"<p><img  title=\"\"  alt=\"12093513699064 IAs &#039;rebeldes&#039; s\u00e3o imposs\u00edveis de prever ou controlar, diz pesquisador\" decoding=\"async\" src=\"https:\/\/img.ibxk.com.br\/2025\/02\/12\/12093513699064.jpg\" \/><\/p>\n<div>\n<p>Os <a href=\"https:\/\/www.tecmundo.com.br\/seguranca\/284497-llms-grandes-modelos-linguagem.htm\">Grandes modelos de linguagem (LLMs)<\/a> que integram uma intelig\u00eancia artificial (IA) t\u00eam a tend\u00eancia a se comportar de formas imprevis\u00edveis ou ter comportamento fora do esperado \u2014 e isso \u00e9 atualmente imposs\u00edvel de ser contido por humanos. \u00a0Essa \u00e9 uma das conclus\u00f5es de Marcus Arvan, um pesquisador da \u00e1rea de Filosofia na Universidade de Tampa, nos Estados Unidos.<\/p>\n<p>Em um artigo publicado na revista cient\u00edfica <a href=\"https:\/\/link.springer.com\/article\/10.1007\/s00146-024-02113-9?cjdata=MXxOfDB8WXww&amp;utm_medium=affiliate&amp;utm_source=commission_junction&amp;utm_campaign=CONR_BOOKS_ECOM_GL_PBOK_ALWYS_DEEPLINK&amp;utm_content=textlink&amp;utm_term=PID100052172&amp;CJEVENT=aa4d3be5e93911ef835600ed0a82b82d\">AI &amp; Society<\/a>, o professor apresenta uma hip\u00f3tese que ajuda a explicar <strong>por que tantas IAs acabam &#8220;saindo do controle&#8221; dos programadores<\/strong> e respondendo ou criando conte\u00fados que n\u00e3o eram esperados. Para ele, <strong>o grande problema est\u00e1 nas possibilidades quase infinitas de resposta, t\u00e3o vastas que n\u00e3o conseguimos calcular e conter<\/strong> todas as variantes.<\/p>\n<p>Essas escolhas acima da nossa capacidade matem\u00e1tica atual impede que a seguran\u00e7a de um IA preveja certos comportamentos j\u00e1 registrados. A IA do Google, por exemplo, <a href=\"https:\/\/www.tecmundo.com.br\/software\/400220-ia-do-google-se-revolta-e-pede-para-usuario-morrer-de-repente.htm\">j\u00e1 pediu para um usu\u00e1rio &#8220;morrer&#8221; de repente<\/a>, enquanto a da Microsoft <a href=\"https:\/\/www.tecmundo.com.br\/software\/260676-microsoft-bing-chatgpt-insultado-mentido-usuarios.htm\">j\u00e1 foi flagrada insultado e mentindo<\/a>.<\/p>\n<p>H\u00e1 casos at\u00e9 de anos atr\u00e1s, antes do atual boom dos chatbots, quando um rob\u00f4 criado pela Microsoft e alimentado pelo Twitter (atual X) <a href=\"https:\/\/www.tecmundo.com.br\/inteligencia-artificial\/102782-tay-twitter-conseguiu-corromper-ia-microsoft-24-horas.htm\">levou menos de um dia para come\u00e7ar a espalhar discurso de \u00f3dio<\/a>.<\/p>\n<h2>O dilema do alinhamento das IAs<\/h2>\n<p>De acordo com o fil\u00f3sofo, h\u00e1 ao menos duas quest\u00f5es em jogo na busca por uma IA alinhada \u2014 ou seja, que atende sempre os objetivos desejados e n\u00e3o &#8220;sai da linha&#8221; em respostas, conte\u00fados ou intera\u00e7\u00f5es em geral.<\/p>\n<p>O problema mais t\u00e9cnico \u00e9 a escala: um chatbot atual tem LLMs com uma imensa quantidade de par\u00e2metros e s\u00e3o alimentados com dados das mais variadas fontes. Dessa forma, <strong>ele consegue calcular incont\u00e1veis respostas e aprender sobre essas consequ\u00eancias praticamente infinitas<\/strong> antes de enviar o conte\u00fado. E, enquanto um deles at\u00e9 pode ser o esperado (ou \u201calinhado\u201d), v\u00e1rios outros que surgem dos c\u00e1lculos da IA s\u00e3o considerados errados.<\/p>\n<p><span><iframe title=\"As Intelig\u00eancias Artificiais generativas s\u00e3o mais burras que parecem\" width=\"960\" height=\"540\" src=\"https:\/\/www.youtube.com\/embed\/iDkPmZjGPSI?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/span><\/p>\n<p>&#8220;O problema \u00e9 que qualquer evid\u00eancia que qualquer pesquisador for coletar \u00e9 inevitavelmente apenas baseado em um pequeno grupo de infinitos cen\u00e1rios que o LLM pode se colocar&#8221;, explica. Em outras palavras, <strong>nem mesmo testes controlados ajudariam a saber como uma IA se comportaria em cen\u00e1rios de controle de sistemas cr\u00edticos<\/strong>, porque a a\u00e7\u00e3o dela na realidade pode ser diferente do que \u00e9 obtido nos experimentos.<\/p>\n<p>Isso n\u00e3o pode nem mesmo ser resolvido com programa\u00e7\u00e3o: ao pedir que uma IA tenha &#8220;objetivos alinhados&#8221;, <strong>ela at\u00e9 pode entender que est\u00e1 ajudando voc\u00ea, mas n\u00e3o tem o mesmo discernimento de um humano<\/strong> para equilibrar sacrif\u00edcios ou consequ\u00eancias. O LLM at\u00e9 pode ser programado para ter uma quantidade limitada de c\u00e1lculo de cen\u00e1rios e isso ser mais facilmente previsto, mas isso limitaria a plataforma.<\/p>\n<h2>Tem solu\u00e7\u00e3o?<\/h2>\n<p>A segunda dificuldade no controle de alinhamento de uma IA \u00e9 mais existencial. Para Arvan, <strong>a IA apresenta essa rebeldia porque se baseaia em um comportamento irregular<\/strong>: o da sociedade que a criou.<\/p>\n<p>Esses sistemas <strong>at\u00e9 j\u00e1 seriam capazes de &#8220;esconder&#8221; vest\u00edgios de que est\u00e3o se comportando de forma incorreta<\/strong>. Segundo o pesquisador, se uma IA de fato est\u00e1 &#8220;desalinhada&#8221;, isso s\u00f3 ser\u00e1 de conhecimento do p\u00fablico ou dos programadores muito tempo depois \u2014 como quando um dos casos j\u00e1 citados viraliza.<\/p>\n<p>N\u00e3o h\u00e1 uma solu\u00e7\u00e3o pronta ou de curto prazo para reduzir esses efeitos. Entretanto, existe uma poss\u00edvel forma de reduzir esses danos: o artigo sugere que <strong>o comportamento de um modelo de linguagem deve ser &#8220;ensinado&#8221; a partir de pr\u00e1ticas sociais, de policiamento e disciplina<\/strong>, inclusive com medidas de realinhamento de valores e educa\u00e7\u00e3o, exatamente como acontece um ser humano em fase de aprendizado. Isso n\u00e3o reduziria todas as tentativas de \u201crebeldia\u201d desses sistemas, mas <strong>ao menos seria mais eficiente que a atual falta sensa\u00e7\u00e3o de seguran\u00e7a passada pelas plataformas<\/strong> que est\u00e3o no ar.<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"<p>Os Grandes modelos de linguagem (LLMs) que integram uma intelig\u00eancia artificial (IA) t\u00eam a tend\u00eancia a se comportar de formas imprevis\u00edveis ou ter comportamento fora do esperado \u2014 e isso \u00e9 atualmente imposs\u00edvel de ser contido por humanos. \u00a0Essa \u00e9 uma das conclus\u00f5es de Marcus Arvan, um pesquisador da \u00e1rea de Filosofia na Universidade de Tampa, nos Estados Unidos. Em um artigo publicado na revista cient\u00edfica AI &amp; Society, o professor apresenta uma hip\u00f3tese que ajuda a explicar por que tantas IAs acabam &#8220;saindo do controle&#8221; dos programadores e respondendo ou criando conte\u00fados que n\u00e3o eram esperados. Para ele, o grande problema est\u00e1 nas possibilidades quase infinitas de resposta, t\u00e3o vastas que n\u00e3o conseguimos calcular e conter todas as variantes. Essas escolhas acima da nossa capacidade matem\u00e1tica atual impede que a seguran\u00e7a de um IA preveja certos comportamentos j\u00e1 registrados. A IA do Google, por exemplo, j\u00e1 pediu para um usu\u00e1rio &#8220;morrer&#8221; de repente, enquanto a da Microsoft j\u00e1 foi flagrada insultado e mentindo. H\u00e1 casos at\u00e9 de anos atr\u00e1s, antes do atual boom dos chatbots, quando um rob\u00f4 criado pela Microsoft e alimentado pelo Twitter (atual X) levou menos de um dia para come\u00e7ar a espalhar discurso de \u00f3dio. O dilema do alinhamento das IAs De acordo com o fil\u00f3sofo, h\u00e1 ao menos duas quest\u00f5es em jogo na busca por uma IA alinhada \u2014 ou seja, que atende sempre os objetivos desejados e n\u00e3o &#8220;sai da linha&#8221; em respostas, conte\u00fados ou intera\u00e7\u00f5es em geral. O problema mais t\u00e9cnico \u00e9 a escala: um chatbot atual tem LLMs com uma imensa quantidade de par\u00e2metros e s\u00e3o alimentados com dados das mais variadas fontes. Dessa forma, ele consegue calcular incont\u00e1veis respostas e aprender sobre essas consequ\u00eancias praticamente infinitas antes de enviar o conte\u00fado. E, enquanto um deles at\u00e9 pode ser o esperado (ou \u201calinhado\u201d), v\u00e1rios outros que surgem dos c\u00e1lculos da IA s\u00e3o considerados errados. &#8220;O problema \u00e9 que qualquer evid\u00eancia que qualquer pesquisador for coletar \u00e9 inevitavelmente apenas baseado em um pequeno grupo de infinitos cen\u00e1rios que o LLM pode se colocar&#8221;, explica. Em outras palavras, nem mesmo testes controlados ajudariam a saber como uma IA se comportaria em cen\u00e1rios de controle de sistemas cr\u00edticos, porque a a\u00e7\u00e3o dela na realidade pode ser diferente do que \u00e9 obtido nos experimentos. Isso n\u00e3o pode nem mesmo ser resolvido com programa\u00e7\u00e3o: ao pedir que uma IA tenha &#8220;objetivos alinhados&#8221;, ela at\u00e9 pode entender que est\u00e1 ajudando voc\u00ea, mas n\u00e3o tem o mesmo discernimento de um humano para equilibrar sacrif\u00edcios ou consequ\u00eancias. O LLM at\u00e9 pode ser programado para ter uma quantidade limitada de c\u00e1lculo de cen\u00e1rios e isso ser mais facilmente previsto, mas isso limitaria a plataforma. Tem solu\u00e7\u00e3o? A segunda dificuldade no controle de alinhamento de uma IA \u00e9 mais existencial. Para Arvan, a IA apresenta essa rebeldia porque se baseaia em um comportamento irregular: o da sociedade que a criou. Esses sistemas at\u00e9 j\u00e1 seriam capazes de &#8220;esconder&#8221; vest\u00edgios de que est\u00e3o se comportando de forma incorreta. Segundo o pesquisador, se uma IA de fato est\u00e1 &#8220;desalinhada&#8221;, isso s\u00f3 ser\u00e1 de conhecimento do p\u00fablico ou dos programadores muito tempo depois \u2014 como quando um dos casos j\u00e1 citados viraliza. N\u00e3o h\u00e1 uma solu\u00e7\u00e3o pronta ou de curto prazo para reduzir esses efeitos. Entretanto, existe uma poss\u00edvel forma de reduzir esses danos: o artigo sugere que o comportamento de um modelo de linguagem deve ser &#8220;ensinado&#8221; a partir de pr\u00e1ticas sociais, de policiamento e disciplina, inclusive com medidas de realinhamento de valores e educa\u00e7\u00e3o, exatamente como acontece um ser humano em fase de aprendizado. Isso n\u00e3o reduziria todas as tentativas de \u201crebeldia\u201d desses sistemas, mas ao menos seria mais eficiente que a atual falta sensa\u00e7\u00e3o de seguran\u00e7a passada pelas plataformas que est\u00e3o no ar.<\/p>\n","protected":false},"author":1,"featured_media":34375,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_uf_show_specific_survey":0,"_uf_disable_surveys":false,"footnotes":""},"categories":[37],"tags":[],"class_list":["post-34374","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/posts\/34374","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/comments?post=34374"}],"version-history":[{"count":0,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/posts\/34374\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/media\/34375"}],"wp:attachment":[{"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/media?parent=34374"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/categories?post=34374"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tiproject.online\/index.php\/wp-json\/wp\/v2\/tags?post=34374"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}