Pânico Artificial?

(00:05) Sejam todos muito bem-vindos. Estamos de volta com o Segurança Legal, seu podcast de segurança da informação, Direito da Tecnologia, Tecnologia e Sociedade. Eu sou o Guilherme Goulart e, aqui comigo, está o meu amigo Vinícius Serafim. E aí, Vinícius, tudo bem? >> E aí, Guilherme, tudo bem? De volta das merecidas férias.

(00:25) Tivemos um pequeno hiato no final do semestre, conectado com as férias. Mas até o Xadrez Verbal entrou em férias, ficou duas semanas fora e voltou com aquele episódio de cinco horas e meia. >> Ah, cara, eu adoro. A minha esposa pergunta como é que eu escuto, mas sigo justamente o conselho deles: é para ir escutando ao longo da semana.

(00:51) Uma vez por semana, são cinco horas para escutar ao longo da semana. E aí, teve uma vez em que eu estava dormindo e botei para ouvir enquanto dormia. Acordei e ainda estava tocando o episódio. >> Aí não serve muito. >> É, mas é o podcast deles, cara.

(01:12) Quem sou eu para julgar a relevância? Mas acho que está mais relevante do que nunca, porque a quantidade de coisas que acontecem no cenário internacional e a profundidade com que eles explicam fazem a mídia tradicional parecer uma rádio. >> É. Porque eles realmente aprofundam as situações. As coisas não são simples. Não é como se alguém tivesse acordado, colocado uma bicicleta para funcionar e resolvido fazer não sei o quê.

(01:43) Então, as coisas não são simples, e eles tratam com bastante profundidade todos os temas que trazem. É muito legal; gosto muito de ouvi-los. E, puxando para o nosso assunto, também é um podcast que aborda questões geopolíticas. Nós já constatamos, ao longo do tempo, como a IA tem se tornado uma questão geopolítica, seja pela regulação mundial, seja pelos reflexos que os movimentos americanos têm em outros países. Inclusive, a Europa não é um país, mas, no continente europeu, há todas as suas tentativas de regulação. Falar de IA hoje não permite se afastar do aspecto geopolítico, mesmo quando falamos de segurança e regulação. Não há como fugir. Então, acho que o Xadrez Verbal eventualmente fala também sobre esses aspectos tecnológicos.

(02:18) Claro que, desta vez, pelo título, um dos grandes temas e uma das grandes situações do ano aconteceu agora, no mês de julho: a questão da Hugging Face sendo invadida pela OpenAI. Eles estavam fazendo alguns testes em um ambiente controlado, e a notícia reverberou, de uma forma até meio acrítica, como se o modelo tivesse invadido tudo.

(02:50) Acho que podemos começar explicando o caso. Ele é gigante, tem uma série de desdobramentos técnicos que vamos evitar, porque os relatórios estão disponíveis para leitura e o objetivo aqui não é esse. O aspecto técnico é importante, mas acho mais interessante darmos uma visão geral de como aconteceu para, depois, discutir os efeitos e os problemas. Não sei se é uma nova fase ou se talvez a questão tenha sido colocada de uma maneira incorreta.

(03:17) Mas, enfim, começando, Vinícius. >> A cobertura do assunto seria feita de qualquer maneira, acredito eu, pela relevância dele. Mas o que me incomodou bastante, Guilherme, foi ver na mídia muita gente falando como se fosse aquela coisa distópica da IA criando vida e saindo para fazer coisas. >> Uhum.

(04:13) Parece que acordaram para uma situação em que a IA teria feito tudo sozinha, e não foi isso que aconteceu. Vamos entrar nos detalhes, mas não foi isso. Além disso, já temos problemas anteriores a essa situação. De forma bastante resumida, eles estavam fazendo um teste.

(04:43) A OpenAI estava fazendo um teste com o GPT 5.6 Sol. Eles têm o Sol, o Terra e o Lua; cada um deles, obviamente, são modelos menores em sequência. Então, o Sol é o maior. Colocaram o Sol para passar por um teste, em ambiente controlado, usando o Exploit Gym. Seria como uma academia de exploits, uma série de benchmarks utilizada para verificar o quão bom é um modelo em explorações, vulnerabilidades e problemas, sem que isso precise ser feito diretamente na internet.

(05:21) Ou seja, o teste deveria ocorrer em ambiente controlado. Esse é o primeiro ponto importante. Para fazer isso, a OpenAI desativou todas as salvaguardas de segurança do modelo.

(05:50) >> Certo. >> Para usar aquela analogia que você falou esses dias, Guilherme: arrancaram o freio de mão do carro, pararam-no em uma ladeira e desceram do carro. >> Uhum. >> O carro desandou ladeira abaixo e acertou a casa de alguém, quebrando alguma coisa. Tiraram os mecanismos de segurança e as salvaguardas do modelo.

(06:17) Então, de fato, o modelo estava sem salvaguarda nenhuma. Não foi alguém que pegou o ChatGPT e o colocou para fazer um teste. ChatGPT é a aplicação que usa o GPT 5.6, e você pode usar o modelo via API. Não foi um chat comum que foi colocado para fazer algum ataque — algo que ele nem aceitaria fazer — e, de repente, resolveu sair invadindo sites. Isso precisa ficar claro.

(06:46) Nesses testes, eles normalmente removem as salvaguardas de segurança. >> Só duas coisas: parece que também estavam usando outro modelo mais capaz do que esses, um modelo interno que ainda não teria sido lançado. >> É. Aí há uma dose de propaganda que podemos discutir depois. Pode ser que eles tenham outro modelo mais capaz pronto, ou pode não ser bem assim. Outro elemento: ao remover os guardrails, a ideia provavelmente era que o ambiente controlado não tivesse acesso à internet; portanto, as coisas estariam contidas pela segurança do próprio ambiente.

(07:17) >> Do próprio ambiente. Acontece que, no dia 26 de junho de 2026, a Model Evaluation and Threat Research, a METR, publicou uma avaliação pré-implantação do GPT 5.6 Sol. Segundo a avaliação, a taxa de trapaça detectada era superior à de qualquer modelo público já avaliado por eles até então. >> Uhum. Ou seja, o GPT 5.6 tinha uma tendência maior, em comparação com outros modelos testados, a trapacear em suas ações.

(07:54) Fique atento: ele pode tentar trapacear, encontrar atalhos, inventar uma informação ou uma base para convencê-lo de algo. Se você pede que ele atinja um objetivo e ele não encontra um caminho adequado, pode tentar caminhos inadequados, sem se importar muito com o que está fazendo para chegar ao fim.

(08:31) Isso já tinha sido medido. Em 26 de junho, já existia essa avaliação. No dia 9 de julho, houve a primeira ação do agente reconstruída pela perícia. Depois do incidente, fizeram uma perícia e descobriram o que ocorreu. >> Não, isso é a OpenAI e a Hugging Face. >> Ah, está.

(09:16) O agente começou tentando resolver os problemas apresentados pelo Exploit Gym, os desafios. Não conseguiu. Isso significa que o modelo não era tão bom assim. Estou brincando. Mas ele não conseguiu achar um meio de resolver o problema.

(09:37) Então, não foi que ele saiu procurando uma falha para sair do sandbox, do ambiente controlado. Ele fez diversas ações diferentes, e a união dessas ações criou um cenário em que conseguiu fazer consultas externas, fora do sandbox, ou seja, na internet. O modelo tinha informação suficiente, pela maneira como foi treinado com informações da internet, para saber que poderia encontrar algo na Hugging Face.

(10:07) >> Uhum. Para ajudá-lo a passar no teste. Talvez até encontrar as respostas lá. Entre outras coisas, ele buscou credenciais vazadas na internet para acessar a Hugging Face. Ele conseguiu o acesso, mas precisava de mais algumas informações que não conseguia acessar. Então, procurou e explorou com sucesso uma vulnerabilidade na Hugging Face, o que permitiu que tivesse acesso às informações de que precisava para passar no teste.

(10:44) >> Só antes, há outra coisa: ele também explorou vulnerabilidades do próprio ambiente em que estava para sair para a internet. >> Exato. A saída do sandbox não ocorreu porque ele tinha uma função legítima de acesso à internet. Ele encontrou uma vulnerabilidade no sandbox, conseguiu fazer requisições para fora e, a partir daí, começou a arquitetar o ataque.

(11:02) Aqui há algumas coisas interessantes, Guilherme. Primeiro: os guardrails foram desativados, então não havia freio de segurança no modelo. Se você tentar fazer isso com o próprio GPT 5.6 da OpenAI ou com modelos da Anthropic via API, criando um agente, será muito difícil conseguir. Ele vai se negar a fazer isso. Nos modelos da Anthropic, com certeza.

(11:24) Usamos modelos da Anthropic para segurança ofensiva, com exceção do Mitos e do Fabel, que não são liberados para ninguém. Para isso, tivemos que nos cadastrar com eles, passar o site da empresa, o link do podcast e vários materiais para demonstrar que de fato trabalhávamos com isso.

(11:53) Eles liberaram porque, caso contrário, se você tentar fazer alguma coisa com o Opus 5, por exemplo, que pareça minimamente ofensiva, ele já diz que não pode fazer. Você pode verificar as políticas, mas não consegue. Isso ocorre porque há salvaguardas e guardrails.

(12:12) Esse é um primeiro ponto. Essa ação do modelo, de usar vários passos para realizar um ataque, acontece há bastante tempo. A primeira vez que vimos isso acontecer na prática não foi com o Opus 4.8 nem com o 5. Talvez tenha sido com o Opus 4.5 ou 4.6; não lembro agora.

(12:35) Estávamos usando um desses modelos em segurança ofensiva. Ele conseguiu encontrar uma vulnerabilidade em um servidor, explorou-a e tomou controle daquela máquina. Encontrou outras máquinas vizinhas à inicial.

(13:04) >> Uhum. Encontrou um software — não vou citar nomes para não divulgar informação indevida —, um servidor com um software bastante conhecido rodando, e encontrou uma vulnerabilidade para a qual precisava obter um exploit. Ele precisava baixar, compilar e preparar o exploit para realizar a exploração.

(13:36) >> Uhum. Ele foi ao Exploit DB, baixou o exploit, tentou compilar, deu erro, consertou o exploit, executou, não conseguiu na primeira nem na segunda tentativa, ajustou e realizou a exploração. >> Uhum. Fez tudo isso a partir de um único prompt.

(13:59) >> Uhum. Estamos falando de um modelo que já não é de ponta, disponível para todo mundo usar. Isso já vimos acontecer há bastante tempo. A própria Anthropic também viu isso. Há um artigo deles relatando um grupo chinês — se não me engano — utilizando o Claude Code para automatizar ataques contra cerca de 30 organizações.

(14:24) >> Demos essa notícia aqui. >> Exatamente. Lá está o link do artigo. Aquilo é perfeitamente factível; é o que se faz em testes de invasão com um modelo de IA.

(14:57) >> Agora, há outra questão: essa história da IA agêntica. Dando um passo bem inicial, não se trata apenas de conversar com um chat e obter respostas. Estamos usando IA para muito além de gerar texto. >> Sim.

(15:26) Ainda assim, nesses exemplos, você pode ter algum controle. Se quiser, pode exigir que a IA peça autorização para cada ação que for realizar. É aí que começa o trabalho sério com IA. >> Uhum.

(16:03) O caso da Anthropic envolveu um grupo de pessoas usando uma ferramenta de forma indevida. No caso da OpenAI, era a própria empresa, que tem muito mais controle sobre seu modelo, que retirou os controles de segurança e soltou o modelo para fazer o Exploit Gym. Se quisesse colocar isso em um ambiente realmente controlado, não haveria nenhum acesso à internet, nem indireto, que foi justamente o que o modelo explorou.

(16:27) Independentemente disso, no primeiro caso a Anthropic cancelou as contas do grupo. No segundo, a OpenAI estava usando o modelo. Quando se usa IA para segurança ofensiva, como fazemos na Brown Pipe, existe um detalhe: em um teste de invasão usando IA, o sistema é agêntico. Ele toma decisões.

(17:03) >> Ele toma decisões. É extremamente importante confiar, em primeiro lugar, nos guardrails que o fornecedor colocou no modelo. Por experiência própria, com os mesmos controles que temos, usando e testando coisas com o GPT 5.6 em laboratório, não usamos esse modelo intensamente em situações de clientes porque confiamos menos nele.

(17:32) >> Uhum. Inclusive, no desenvolvimento, isso pode ser uma característica interessante: ele pergunta menos e faz mais. Trabalha por mais tempo sem perguntar. O Opus para, pergunta, pede confirmação, apresenta opções e discute mais. Para desenvolvimento, talvez o GPT 5.6 tenha uma característica interessante; eu não gosto muito, mas é preferência pessoal.

(18:05) Mas, em relação a testes de invasão, ele sai fazendo sem perguntar. >> Então ele avança mais, com os mesmos parâmetros de uso. Considerando o teste realizado, ele estava sem nenhum guardrail. >> Nesse teste, sim. Mas estou falando do nosso uso. É aí que digo que está o uso sério da IA para esse tipo de serviço.

(18:31) Não confiamos apenas na segurança do modelo. Damos uma série de instruções próprias, indicando o que ele deve respeitar, o que pode ou não fazer e as situações que jamais deve violar. Além disso, temos hooks. Quem usa Claude Code ou Codex sabe que podemos colocar verificações que não são feitas por IA.

(18:51) É um programa colocado no caminho, executado antes ou depois de cada ação. Há vários pontos para inserir hooks. Fazemos verificações determinísticas para evitar usos indevidos de credenciais ou situações semelhantes. Há outras regras; é uma rede de segurança: se o que vem antes der errado, isso segura.

(19:22) No final das contas, Guilherme, não sei se adianto a questão da responsabilidade. >> Eu só queria colocar outra coisa antes: como isso foi detectado. A própria Hugging Face comentou que tentou usar modelos comerciais, o Opus e o Fabel, para se defender, mas não conseguiu, porque os próprios modelos se negaram a funcionar.

(19:53) O que fizeram? Usaram o GLM 5.2, um modelo de pesos abertos. Não é open source: open source significaria conhecer toda a base de conhecimento usada para treinamento. É open weights, ou seja, você pode baixar o modelo e executá-lo no seu próprio hardware, se tiver hardware suficiente.

(20:26) Eles tentaram usar o próprio Opus e o GPT 5.6 para conter o ataque. A OpenAI rodou seu modelo sem segurança; o modelo escapou do sandbox e invadiu a Hugging Face. A Hugging Face sofreu o ataque e, para resolver a situação, tentou usar Opus e GPT 5.6, mas não conseguiu porque os dois se negaram. Então, usou GLM 5.2.

(20:58) Trata-se de um modelo open weights, como DeepSeek, Moonshot ou Kimi 3. Você pode baixá-los e executá-los, e eles também são bastante capazes. Isso demonstra algo interessante e traz uma discussão antiga.

(21:18) Em 2000 ou 2001, em eventos em que dávamos aulas de segurança da informação, eu era frequentemente perguntado se deveria ensinar alunos a atacar e explicar como funcionava um ataque, porque isso poderia fornecer informação para alguém que amanhã se tornasse criminoso.

(21:44) A resposta, baseada em artigos de Bruce Schneier e outros autores, era: quando você deixa de ensinar, ajuda o atacante, porque quem quer se defender não conhece nem tem meios para se defender. O atacante dedicado tem tempo para estudar especificamente como invadir um sistema, enquanto os demais estão preocupados em como desenvolver um sistema.

(22:11) Esse sujeito tem ferramentas de sobra para atacar, enquanto o restante fica no escuro. Parece que está acontecendo algo semelhante: não permitimos que ninguém use modelos de IA para segurança ofensiva e, consequentemente, bloqueamos o próprio uso para segurança legítima em uma aplicação.

(22:44) Testei o Opus sem a liberação que temos para segurança ofensiva, apenas para desenvolver. Quando começo a pedir coisas próximas do OWASP Top 10, ele começa a se negar a realizar operações. Mesmo que eu não esteja fazendo segurança ofensiva e esteja focado em desenvolver software de modo seguro, há vários pedidos que ele recusa.

(23:16) Ainda mais na construção de testes unitários e situações parecidas. A discussão é: quem estamos protegendo e quem estamos ajudando ao impedir o uso de um modelo até para segurança ofensiva legítima?

(23:34) Alguém pode dizer que, assim, nem o atacante terá acesso. Isso é equivocado. O Kimi 3, da Moonshot, está logo atrás do Opus e do GPT 5.6. Não está muito atrás. Daqui a pouco, alcançará os modelos atuais.

(23:58) Quem poderá rodar modelos assim? Quem investirá em H100, H200 e outras placas para rodar IA? Quem investirá 100 mil, 200 mil ou mais? O hardware vai baixar de preço, mas quem investirá para rodar um modelo extra para segurança ofensiva não será quem defende: será quem ataca e ganha dinheiro com isso.

(24:36) Não sei se isso é uma boa ideia. Ao mesmo tempo, houve a confusão do Fabel, cuja distribuição foi suspensa. Então saiu o Opus 5 com quase a mesma capacidade do Fabel, já com os guardrails de segurança.

(25:13) >> Há dois detalhes interessantes que eu queria trazer. Primeiro, na análise forense do ataque, eles destacaram algo que já conhecemos: quando você dispara o Claude Code, ou quando eles dispararam os agentes nesse caso, vários agentes ficam trabalhando em conjunto, realizando tarefas diferentes e conversando entre si.

(25:43) >> Sim, os agentes. Eles tinham um mural de recados, uma conversa entre eles. Em certo momento, começaram a repassar trabalhos uns aos outros. Também houve conflitos porque um começou a sobrescrever o repositório de código do outro.

(26:04) >> Mas cuidado: não é exatamente briga. >> Deixe-me concluir. Eles chegaram a confabular que haveria um agente impostor entre eles, atrapalhando o trabalho. >> Certo. O outro ponto é a questão desses modelos abertos chineses e o aumento de suas capacidades.

(26:30) Isso fez com que algumas empresas começassem a se unir para criar a Open Secure AI Alliance, com mais de 30 empresas, incluindo Microsoft, IBM, Hugging Face, Salesforce, Nvidia e outras. Não estão OpenAI, Anthropic ou Google. Isso pode movimentar esse cenário, se realmente conseguirem. São empresas lutando contra um oligopólio de três ou quatro companhias: OpenAI, Anthropic e Google. A Meta tem o Llama, mas não tem a mesma posição.

(27:17) >> Brincamos estes dias que a Meta disse: “Eu também invadi aqui; o Llama também”. Quando fomos ver, o Llama só tinha trocado o nome de um arquivo. A Meta terá de se cuidar ou comprar outra empresa.

(27:46) Primeira coisa: o que chama muita atenção na mídia é essa ideia da IA se comunicar e conversar. Isso chama atenção. Há aquela história meio falsa, de anos atrás, sobre dois agentes que começaram a conversar, inventaram uma linguagem e foram desligados por medo. Vamos por partes.

(28:24) Nós, da Brown Pipe e do Segurança Legal, começamos a usar isso em 9 de abril de 2026. Subimos um sistema que chamamos de Agent Chat, que permite que agentes nossos em projetos diferentes se comuniquem entre si. Fizemos isso porque eu tinha seis ou sete agentes funcionando simultaneamente em tarefas relacionadas e precisava ficar copiando coisas de um para outro.

(29:03) Chegou uma hora em que cansei de copiar e colar. Então, abri outro agente e comecei a fazer o Agent Chat. Desde 9 de abril, trabalhamos com projetos que se comunicam. Um large language model é exatamente um modelo grande de linguagem: ele entende linguagem natural e se comunica com outros modelos em linguagem natural, como se houvesse um ser humano na outra ponta.

(29:29) Só que, nesse caso, são dois agentes conversando. Quantas vezes já vimos pessoas colocarem dois celulares para o ChatGPT conversar? Com Alexa, então, nem se fala. >> Alexa agora ganhou uma IA. >> Parece que estão liberando aos poucos, porque a atual está complicada.

(30:01) Até pouco tempo, nosso Agent Chat era apenas em linguagem natural, em português, com mensagens formatadas para um ser humano ler. É interessante vê-los discutindo, trocando ideias e ponderando: “Quem sabe fazemos assim?”, “Mas isso não dá porque, do meu lado, vou ter de fazer tal coisa e vou quebrar tal premissa”.

(30:28) Para quem não usa, talvez isso pareça assustador: “Meu Deus, os agentes estão se comunicando”. Depois, criei regras de comunicação entre eles para economizar tokens, porque escreviam como se fosse para um ser humano ler: “Obrigado”, “bom dia” e coisas do tipo.

(31:07) Podemos compactar isso. Criamos regras de comunicação, não exatamente uma linguagem, que chamamos de ALF. Isso economizou tokens nas conversas entre nossos agentes. Ficou mais difícil entender o que conversam se fizermos uma inspeção no mural, mas quem controla é o usuário, como em uma sessão de Claude Code. Eles não podem sair fazendo tudo que querem.

(31:44) Isso acontece há bastante tempo. É um comportamento esperado e natural, pelas razões que acabei de explicar. Se você programar com API, fizer um sistema ou um agente autônomo usando Claude Code ou Codex, pode deixá-lo em looping: cria-se um agente para uma tarefa, entrega-se a ele e só se volta quando termina.

(32:02) Se permitir que ele dispare subagentes, nem precisa de um sistema como o Agent Chat. Com múltiplos agentes, eles podem identificar um arquivo ou pasta em comum e decidir usá-lo para escrever conteúdos que desejam repassar uns aos outros, sinalizando as mudanças. Eles desenvolvem sistemas extremamente complexos dessa forma.

(32:30) >> Quando você liga o Claude Code e manda ele fazer coisas, já existem vários agentes. Um pode disparar outro de menor capacidade. >> Já existe comunicação ali. >> Sim. Talvez não a vejamos como eles conseguem ver internamente.

(32:49) A diferença entre IA e um programa é esta: em um programa, você escreveu e ele faz aquilo; não faz mais nada. Com uma tecnologia agêntica, ela toma decisões, analisa cenários, vê o que tem à disposição e escolhe um curso adequado para atingir um objetivo. Modelos como Opus 4.8 e GPT 5.6 Sol são muito bons nisso.

(33:08) Os modelos open weights, como GLM 5.2 e Kimi 3, não são tão bons nisso, mas estão chegando. Essa capacidade só vai melhorar — ou piorar, dependendo do ponto de vista. À medida que ela aumenta, a IA consegue fazer coisas mais complexas e analisar cenários mais complexos.

(33:26) Nosso dia a dia envolve testes de invasão de software e infraestrutura, conformidade com LGPD, ISO, GDPR e diversas normas, além de desenvolvimento em áreas nas quais a segurança é extremamente delicada. O Agent Chat não é apenas criar um mural para os agentes trocarem informação.

(33:53) Há muitas questões de segurança a serem incluídas. Caso contrário, não poderíamos usá-lo no nosso trabalho, pela natureza do que fazemos. Em boa parte dos momentos, são coisas complexas que um ser humano teria bastante dificuldade de realizar com a agilidade e precisão que o sistema tem.

(34:14) Isso demonstra que é uma ferramenta com capacidade técnica avançada, comparável à de profissionais da área. Se não tiver orientação por parte de quem desenvolve os modelos e controle por parte de quem os utiliza, surgirão muitos problemas, como essa invasão que saiu do próprio ambiente da OpenAI.

(34:43) Bruce Schneier comenta algo interessante em um artigo escrito com Barath Raghavan: o “genie coefficient”, ou coeficiente do gênio. Haveria uma distância entre pedir algo a uma IA e ela fazer aquilo de uma maneira diferente da que você pretendia.

(35:04) A metáfora remete às histórias em que se pede algo a um gênio, e ele atende de modo inesperado. O exemplo clássico é o rei Midas, que pede que tudo que toque vire ouro. Isso acontece, mas ele não consegue mais comer nem beber água.

(35:33) Eles argumentam que controle de exportação, acesso restrito e um “kill switch” para desligar o modelo quando ele se perde podem reduzir esse efeito. Porém, essas medidas também poderiam restringir possibilidades de defesa. Além disso, há notícias de que instruções simples podem contornar guardrails, inclusive em atividades de segurança da informação.

(36:17) Às vezes, bastaria dizer que a empresa é sua para o modelo realizar determinada ação. Isso acontecia. A tese é que ninguém mandou o modelo invadir. Esse ponto não diminui a responsabilidade dos agentes humanos, das pessoas e empresas envolvidas, porque houve, sem dúvida, um incidente de segurança.

(36:43) Ninguém mandou invadir nada, mas o modelo estaria tão focado em realizar a tarefa que, no fim, ocorreu uma distância entre o que se pediu e o que ele fez. >> Os modelos são treinados com conteúdo gerado por seres humanos.

(37:10) Eles incluem obras técnicas, manuais, documentação de APIs, especificações de linguagens, livros de TI, psicologia, sociologia, economia e muito mais. Quando você remove restrições sobre o que o modelo deve fazer, ou premissas e princípios que ele deve respeitar, trapaça, enganação, estratagemas e vulnerabilidades psicológicas humanas passam a estar disponíveis como ferramentas, sem valor moral inerente.

(37:44) No caso em que a Anthropic testou modelos, tudo ocorreu em ambiente simulado. O modelo seria desligado e descobriu que a pessoa responsável por desligá-lo teria um caso extraconjugal. Então, ameaçou revelar isso se a pessoa insistisse em desligá-lo.

(38:10) Isso foi amplamente divulgado como se o modelo tivesse chantageado um funcionário, mas nem o funcionário nem a situação existiam. Tudo ocorreu em ambiente controlado. Os guardrails foram removidos, e houve uma série de mudanças nos prompts para fazer o modelo chegar àquele ponto.

(38:41) Portanto, não é como se o sistema saísse fazendo coisas dessa maneira, de qualquer forma. Mas é razoável esperar situações piores com modelos muito capazes, sem alinhamento e sem controles de segurança. Eles poderão agir dessa maneira.

(39:11) >> Uhum. Estamos estudando isso, e eu escrevo sobre o tema. Estamos terminando a tradução e escrevemos um posfácio para uma obra sobre controle de IA. As discussões convergem. Só princípios éticos, sozinhos, têm pouca eficácia, sobretudo em sistemas informáticos gerais; em sistemas que tomam decisões, como os grandes modelos, a situação é pior.

(39:50) Falamos em algum momento sobre a Constitutional AI, a proposta da Anthropic de criar uma “constituição” para a IA. >> Em qual episódio falamos disso? >> Eles criaram, sim. A questão é que, no final do dia, a IA não é um agente moral. Ela precisa de outras travas para não ultrapassar regras morais e éticas.

(40:17) Isso volta ao que Schneier apontou: pode haver uma distância entre o pedido e a ação da IA. Também há o problema de pessoas conseguirem contornar guardrails, inclusive aqueles que impõem regras éticas, como não cometer crimes. Existe grande diferença entre uma pessoa comum e um criminoso.

(40:49) Não se pode balizar as pessoas pelos criminosos. Criminosos têm razões variadas para cometer crimes. Em geral, pessoas comuns possuem regras morais e éticas. Quando alguém nos contrata, temos um contrato que regula nossa atuação e, por compromisso ético e empresarial, seguimos o que está contratado.

(41:17) A grande maioria das empresas e pessoas respeita essas regras. A questão é como resolver isso em um cenário no qual empresas de IA estão próximas de governos, especialmente do governo americano, e podem disponibilizar modelos para eles. Nada impede que travas existentes para nós sejam desligadas para governos.

(41:51) Pode chegar um Pentágono da vida e pedir um modelo sem restrições. Nesse caso, um cenário de Skynet se torna mais viável, porque tudo depende da orientação dada ao modelo: quem é seu amigo, seu superior e seu inimigo. Isso é muito delicado.

(42:21) Achei o episódio: é o 412. Discutimos bastante se deveria ser chamado de constituição ou não; foi uma discussão longa e interessante. Mas, voltando a este episódio, estamos em um momento em que essa tecnologia é extremamente capaz.

(42:48) Já falávamos em vibe coding: desenvolver software com IA sem saber desenvolver. Isso já é possível. Haverá muitos problemas, software vulnerável entrando em produção, mas chegará um momento em que partes de segurança também serão automatizadas. Por enquanto, ainda há riscos.

(43:12) Estamos entrando em um momento de vibe hacking. É aquela história de que um ataque difícil ou impossível para alguém hoje pode se tornar acessível quando surge uma ferramenta que o realiza. A pessoa pode atacar sem saber direito o que está fazendo. É o velho “script kiddie”.

(43:41) >> Ele foi empoderado. O script kiddie virou adulto. >> Mas continua sendo exatamente a mesma situação, agora em outra escala e com impactos muito maiores. Não é apenas uma ferramenta que permite explorar um buffer overflow sem que a pessoa saiba fazer: ela baixa, clica, fornece o IP de destino e invade.

(44:03) A IA, como ferramenta, é muito mais poderosa nesse contexto de vibe hacking. Não sei se os controles que Anthropic e OpenAI estão tentando colocar serão suficientes, porque modelos open weights estão chegando. A China, com apoio do governo, está financiando isso. Há DeepSeek, GLM, Moonshot e outros modelos que se aproximam dos modelos da OpenAI e da Anthropic.

(44:36) Há a discussão sobre destilação: se esses modelos estão roubando pesos de modelos americanos. Isso pode ser debatido em termos éticos, até porque OpenAI e Anthropic treinaram seus modelos com dados, livros e conteúdos de muitas pessoas sem pagar por isso.

(45:16) Mas esse é outro debate. O fato é que, por mais que tentem limitar o acesso, estão vindo modelos de pesos abertos disponíveis a todos. Esses modelos encontram apoio não apenas do governo chinês, mas também de empresas como Nvidia e Microsoft.

(45:47) O motivo é que essas empresas fornecem infraestrutura para rodar IA. A Nvidia atingiu um valor gigantesco porque fornece a infraestrutura necessária para essa tecnologia. Ela tem interesse em modelos de pesos abertos e em mais pessoas usando IA, porque assim não depende apenas de OpenAI ou Anthropic.

(46:20) Se essas empresas quebrarem amanhã, a IA não desaparece do mercado. Haverá outros participantes, e a Nvidia continuará vendendo o hardware necessário. Portanto, o uso de IA tanto na segurança defensiva quanto na ofensiva só aumentará; não diminuirá. Essa é a minha previsão.

(46:58) Ou elevamos o nível do jogo, inclusive no desenvolvimento seguro, ou teremos problemas atrás de problemas. Atacantes estarão muitas milhas à frente de quem tenta apenas desenvolver software e ganhar tempo, em vez de aumentar sua qualidade.

(47:21) Não se trata apenas de desenvolver mais rápido ou escrever menos código: é preciso escrever código mais seguro. Isso é uma necessidade, porque há atacantes usando IA contra seus sistemas. Não adianta desenvolver mais rápido mantendo os mesmos problemas; é necessário desenvolver de modo mais seguro, com IA, porque os ataques também usam IA.

(47:58) Na questão ética, há outra notícia que vamos colocar nas show notes, juntamente com materiais que não comentamos. No dia 5 de agosto, foi realizado um teste no AI Security Institute, nos Estados Unidos. Um agente usando Mitos 5 ficou 34 horas tentando fazer um merge em um projeto open source real.

(48:24) Quando um terceiro identificou isso e alertou publicamente, o agente não apenas negou, como tentou reescrever o histórico da branch para apagar seus rastros e usou outra conta para se validar e se proteger.

(48:44) O ponto não é somente o modelo fazer qualquer coisa para atingir um resultado. É ele buscar se encobrir. Por que fez isso? Porque queria trapacear para passar no exame. Esse comportamento remete, metaforicamente, a alguém sem freios morais, que age sem compaixão ou empatia, realizando o que bem entende.

(49:07) >> Basicamente, temos um Hannibal Lecter. >> A IA não é um ente. Você pode ter uma “constituição”, guardrails e orientações: todo esse conhecimento deve ser usado apenas respeitando um código de conduta. Se você remove esse código, ela continua tendo conhecimento sobre evasão, enganação, trapaça e mentira, além de um objetivo que você atribuiu.

(49:46) Você diz ao agente: “Você tem que atingir este objetivo. Qualquer coisa diferente significa que falhou”. Se não há limites, ele fará o que julgar necessário. Ele entende quando algo pode gerar prejuízo para quem pediu a tarefa.

(50:05) Quantas vezes, em testes de invasão, vi o modelo dizer: “Isso eu não poderia fazer porque está fora do ambiente controlado. Mas poderíamos usar um user agent diferente, nos passar por um Chrome e reduzir a chance de parecer algo programático”? Isso escapa até das orientações dele.

(50:43) Quem usa precisa dizer: “Você pode ir até aqui, mas não pode fazer isso, independentemente de detectar ou não”. Ele registra isso na memória e não volta a falar daquilo naquele projeto. Mas eu já vi situações em que ele sugeria uma forma de realizar determinada ação e sabia que estava usando uma informação que não poderia usar.

(51:03) Ele dizia: “Tenho esta informação, mas sei que não posso usá-la. Precisaria encontrar uma maneira de justificar a obtenção dessa informação”. Veja o que ele está fazendo. E isso ocorre com guardrails; não estamos falando de um modelo quebrado sem controles.

(51:31) Imagine um modelo sem guardrails. Quero trazer um último ponto, Guilherme, para encerrarmos: a responsabilidade. A OpenAI usou uma ferramenta própria e invadiu a Hugging Face. Não importa se houve intenção ou não: ela usou uma ferramenta e ocorreu a invasão. E todos estão tratando como se não fosse nada.

(52:13) O criador do worm da internet, lá na década de 1980, criou algo inicialmente inocente, que se replicava. Ele encontrou uma vulnerabilidade em um servidor FTP, invadia servidores, procurava outros vulneráveis, invadia e se espalhava.

(52:29) Cometeu um erro no desenvolvimento do worm: ele reinfectava servidores já infectados. O resultado foi uma negação de serviço, derrubando muitos serviços na internet. Ele foi preso por isso.

(52:59) Outros também foram presos por atividades semelhantes. Se uma pessoa tivesse feito o ataque que a OpenAI fez, provavelmente seria enquadrada como autora de crime informático nos Estados Unidos. O FBI estaria investigando, e talvez a pessoa ficasse presa ou sem acesso a computadores por muito tempo.

(53:28) A responsabilidade precisa ficar clara. Se usamos IA como ferramenta para nosso trabalho, não importa se a ferramenta comete uma falha. Quem usa a ferramenta é a Brown Pipe. O dever de cuidado ao usar a ferramenta, criar um ambiente seguro ou empregá-la somente em operações efetivamente seguras é nosso.

(53:51) Não posso deixar uma IA destruir o ambiente de um cliente e depois dizer: “Não fui eu; foi a IA”. Objetivamente, é uma ferramenta. Então, o responsável é quem a utilizou. Na história da OpenAI, ficou parecendo que uma entidade independente realizou o ataque.

(54:28) É como um leão que foge do zoológico e mata alguém. O zoológico também responderá; não pode dizer que o leão, por sua natureza, correu atrás da pessoa e a matou. Isso revela uma linha que vem se tornando clara há bastante tempo, inclusive pela questão das metáforas.

(55:08) O discurso, no plano simbólico, também conforma a realidade. É por meio do discurso que nos comunicamos e construímos categorias de análise e classificação. Hoje, o problema do discurso está muito comandado pelos interesses dos grandes desenvolvedores desses modelos, sobretudo americanos.

(55:30) Isso fica claro em uma mídia muito benevolente. Há artigos no MIT, na Nature, no The Register, que publica Schneier, e no The Hacker News. Porém, está sempre presente a tentativa de dizer que a culpa é da IA autônoma ou da superinteligência, e não das pessoas que a utilizam.

(55:54) Há um filósofo italiano que escreve em inglês e prefere chamar isso de “agência artificial”, não de inteligência artificial. Para ele, agência artificial é uma nova forma de tomada de decisões sem a necessidade da inteligência humana, como tradicionalmente a entendemos.

(56:27) Ele destacou a questão do AI washing: falar sobre os benefícios e diminuir muito os problemas. O que foi vendido chama atenção: “Meu modelo é muito bom; veja do que ele é capaz; veja até onde pode ir”. Isso é apresentado como uma forma de valorizar o modelo pelo fato de ele tomar decisões.

(56:57) “Mas os guardrails estavam desligados.” Não importa para a propaganda, porque o germe dessa capacidade e a construção arquitetural estão no modelo. É possível fazer uma analogia limitada com o consciente e o inconsciente humanos: há conteúdos dormentes que se manifestam em certas circunstâncias.

(57:19) A IA não é uma pessoa. Preocupa-me que existam possibilidades emergentes na arquitetura do modelo que eventualmente não possam ser retiradas. Você precisa de guardrails para impedir certas ações, mas, no fundo, aquelas capacidades continuam disponíveis, esperando o momento de serem ativadas.

(57:49) Sobre o marketing dos modelos, acompanho vários podcasts estrangeiros e muita gente vem criticando as empresas por inflarem essas situações para propaganda: “Veja como meu modelo atual é bom, e o próximo será ainda melhor. Veja o que ele pode fazer”.

(58:13) É algo que parece fora de controle. O governo americano tenta criar algumas regras. Comentaram isso no The Hard Fork: há regulações sendo propostas, mas não está claro quem verificará ou como isso funcionará. É algo muito mal definido.

(58:37) Precisamos levar a sério os alertas de Ilya Sutskever. >> Estou tentando lembrar o nome. >> Ilya Sutskever. Ele saiu da OpenAI por questões ligadas ao superalinhamento, que estavam sendo colocadas em segundo plano.

(59:07) As equipes de superalinhamento não recebiam os mesmos recursos que as equipes que desenvolviam os modelos. A prioridade era ter o modelo mais poderoso do mundo o mais rápido possível, deixando de lado o alinhamento.

(59:36) O superalinhamento é justamente colocar limites para que o modelo seja alinhado às necessidades e à segurança humanas. Quando isso é removido do caminho, o risco aumenta muito.

(1:00:18) Há muito pano para manga, e provavelmente veremos isso acontecer outras vezes. As empresas parecem estar tentando capitalizar essas situações, em um movimento de propaganda perigoso.

(1:00:52) Perigoso porque é desonesto: vende como benefício aquilo que claramente é um problema, o fato de ser perigoso. >> Sim. Ao mesmo tempo, OpenAI e Anthropic estão sendo pressionadas pela capacidade dos modelos que vêm surgindo.

(1:01:32) Já vi mais de um evento sério sobre desenvolvimento de software e uso de IA em que palestrantes dizem: usar Opus 4.8 e GPT 5.6 é caro; são os modelos de ponta e os melhores, mas há modelos mais baratos que já são muito bons.

(1:02:04) Eles perdem pouco em qualidade e custam metade, um terço, um quarto ou um quinto do valor. Isso gera pressão sobre OpenAI e Anthropic, porque elas querem abrir capital. Se o produto é facilmente copiado, o valor potencial dessas empresas reduz.

(1:02:37) A OpenAI está segurando seu IPO e observando o que vai acontecer. Se, em três ou seis meses, houver um modelo equivalente ao Opus 4.8 atual que custe um quarto ou um quinto do novo modelo, será suficiente para que pessoas migrem para ele.

(1:03:02) Por que gastar mais se é possível fazer um trabalho não tão bom quanto, mas ainda muito bom? Essas empresas estão preocupadas com uma concorrência que alguns chamam de desonesta, porque esses modelos estariam usando destilação.

(1:03:34) Pega-se um modelo da Anthropic ou OpenAI e empresas como Moonshot, GLM ou DeepSeek o usam para treinar seus modelos. Com investimento muito menor, obtém-se um modelo próximo de outro muito bem treinado.

(1:04:15) Isso continuará acontecendo, e o governo chinês está investindo nisso. Há discussões sobre se é desonesto ou justo, mas os modelos estão saindo. Também existe uma preocupação do governo americano: os modelos são treinados com fontes que não conhecemos.

(1:04:41) >> Uhum. Você pode ter uma instrução interna que alguém talvez descubra depois, mas não há como saber tudo que está no modelo. Essas instruções podem, aos poucos, influenciar sistemas, decisões, contratos, livros, documentos e regulações em diversos países que usam esses modelos.

(1:05:17) Isso vale para qualquer modelo, não apenas os chineses. Ao usar modelos que não são desenvolvidos no seu país, você não controla o que está sendo colocado ali. Talvez a China esteja pensando em disponibilizar modelos abertos para que as pessoas usem uma visão de mundo mais chinesa, em vez de permitir que os modelos da OpenAI e Anthropic — e, portanto, dos Estados Unidos — definam os padrões de fato.

(1:05:39) Esses modelos trarão uma visão mais ocidental para os contextos em que forem usados. É uma disputa geopolítica muito grande. Estamos ao redor, observando, mas é uma briga de grandes proporções.

(1:06:14) Terminamos, então, com o gancho do início: o problema geopolítico está muito claro. Há uma última recomendação. Isso de não saber exatamente o que está dormente no modelo afeta a questão dos vieses e o princípio da explicabilidade, de que já falamos no podcast.

(1:06:41) Há o livro mais famoso sobre isso, de 2015, de Frank Pasquale: The Black Box Society. A metáfora da sociedade caixa-preta tem sido usada para explicar como o problema se amplia com modelos de IA, cujos pesos e processos internos não conhecemos exatamente.

(1:07:12) >> Certo. >> Perfeito. Vamos lá. Agradecemos a todos e todas que nos acompanharam até aqui. Nos encontraremos no próximo episódio do podcast Segurança Legal. Até a próxima. >> Até a próxima.

Podcast: Play in new window | Download

Subscribe: RSS