Episódio 422

STF e MCI, bug de 30 anos no Squid, MCPs, Chatgpt e a polícia

57min
Capa do episódio #422: Composição VII, Kandinsky
Composição VII, Kandinsky
00:00
duração

Shownotes

Transcrição

(00:02) Bem-vindos e bem-vindas ao Café Segurança Legal, episódio 422, gravado em 29 de junho de 2026. Eu sou o Guilherme Goulart e, junto com o Vinícius Serafim, vamos trazer para vocês algumas notícias das últimas semanas. E aí, Vinícius, tudo bem? Olá, Guilherme, tudo bem? Olá aos nossos ouvintes. Sempre lembrando que, para entrar em contato conosco, basta nos chamar no e-mail podcast@segurancalegal.

(00:33) com, também no Instagram, Bluesky, YouTube e TikTok. Para os apoiadores, também temos um canal adicional, que é o nosso grupo no Telegram, onde você pode trocar ideias com o pessoal que nos apoia e também conosco eventualmente. Então, a gente sempre pede que você ajude esse projeto independente de produção de conteúdo no apoia.se/segurancalegal.

(01:03) Certo, Vinícius? Certíssimo, Guilherme. Bom, vamos às notícias dessa semana. A primeira é o STF, novamente envolvido na pauta desta semana, visto que houve uma alteração, um ajuste na tese da responsabilidade das redes sociais. Antes de falar rapidamente sobre esses ajustes, acho que cabe fazer uma linha do tempo para as pessoas entenderem o que exatamente aconteceu, porque realmente é bem difícil de entender como isso aconteceu.

(01:37) E vai uma crítica, mais ao final, sobre a forma como a gente está regulando esse tipo de assunto aqui no país. Então, o que a gente teve? A gente teve, em junho de 2025 — portanto, há um ano —, o julgamento pelo STF do mérito que fixa a tese da inconstitucionalidade do artigo 19. Inclusive, nós falamos sobre esse tema aqui em dois episódios do Segurança Legal.

(02:03) Depois a gente vai colocar no show notes quais foram eles. Então, a gente teve isso acontecendo há um ano — junho de 2025. Depois, em agosto de 2025, veio a publicação do acórdão, com mil e poucas páginas. E aí se estabeleceu o marco da modulação, a partir de quando os efeitos passam a valer no nosso ordenamento: de agosto de 2025 a maio de 2026.

(02:32) E vocês devem se lembrar de que a decisão original fazia um apelo ao legislador para que ele ajustasse, legislasse sobre essa questão do artigo 19 do Marco Civil, que basicamente traz uma série de novas responsabilidades para os provedores. Então, de agosto a maio, o legislador — o legislador brasileiro é muito ocupado, a gente tem que dizer, tem bastante coisa acontecendo —

(02:56) então, o legislador brasileiro não teve tempo de lidar com isso. E aí, como o governo resolve a questão da regulação do Marco Civil? Pela via de dois decretos, os decretos 12.975 e 12.971 , agora em maio de 2025 . Então, o que a gente imaginava? Julgamento do mérito, o Congresso não faz nada, o presidente publica os dois decretos e pronto — teríamos a questão da responsabilidade amarrada no ordenamento jurídico brasileiro.

(03:34) Só que tivemos os embargos de declaração, ajuizados pelas Big Techs, julgados somente em 11 de junho de 2026. E, quando julgaram esses embargos, foram feitas pequenas alterações na tese. O que muda vai ficar também no show notes: é a proposta consolidada do ministro Dias Toffoli, com as novas teses, um documento de cinco páginas.

(04:07) Basicamente, houve uma alteração no que antes envolvia aquela isenção. Ou seja, para crimes contra a honra, permanece o estado anterior de inconstitucionalidade do artigo 19 — os provedores não são obrigados a retirar o conteúdo, apenas lembrando que a tese traz uma lista de conteúdos: instigação ao suicídio, crime de terrorismo, entre outros.

(04:38) Para esses conteúdos, os provedores devem retirar sem ordem judicial; mas, para conteúdos relacionados a crimes contra a honra, precisam de ordem judicial. Houve uma alteração para incluir também atos ilícitos civis — ofensas contra a honra que eventualmente não configurem crime.

(04:57) Depois, uma questão relacionada à presunção de culpa: antes era responsabilidade objetiva, e agora se estabeleceu que essa responsabilidade se dá por presunção de culpa dos provedores em relação a anúncios pagos. Ou seja, eles podem reverter essa presunção demonstrando que tomaram medidas para evitar que conteúdos ilícitos fossem veiculados como conteúdo pago — o que é um grande problema, porque já vimos pessoas e organizações pagando para impulsionar conteúdos considerados criminosos.

(05:31) Uma novidade: o ministro Fux trouxe a possibilidade de tutela provisória para impedir a retirada do conteúdo. Quando confrontados por um pedido que consideram indevido — isto é, entendem que o conteúdo deveria permanecer no ar —,

(05:57) o ministro Fux fixa agora a possibilidade de os provedores (algo que já existia mesmo sem essa definição) entrarem com uma ação para não retirar o conteúdo quando acreditarem que ele não é ilícito. E a modulação dos efeitos passa a vigorar a partir de 5 de agosto de 2025.

(06:19) Essas regras se aplicam a situações ocorridas a partir de agosto de 2025, com prazo de 60 dias para implementar outras obrigações já estabelecidas. O assunto é bem denso — eu estava achando difícil de explicar —, mas, resumindo, a grande questão é: como fica o decreto agora, se ele foi baseado na tese de junho de 2025?

(06:50) Temos uma nova tese, posterior ao decreto, que eventualmente exigiria também uma alteração dele. No final das contas, acho que a grande crítica é esse atrapalho, essa dificuldade que temos de regular assuntos digitais ou que envolvam Big Techs no Brasil, porque a inércia do legislador acaba gerando críticas ao Supremo, no sentido de que estaria legislando,

(07:28) ultrapassando sua competência e criando novas formas de conduta que deveriam ser reguladas pelo legislador. O legislador não faz nada, o presidente lança um decreto, mas esse decreto fica desatualizado um mês depois, por causa de novas regras. Você percebe essa dificuldade toda que a gente vive? Sim.

(07:52) >> E olha que a gente ainda nem está falando de… Para variar um pouco. É isso. Isso vai ser outro imbróglio, porque a gente já está atrasado nisso. Uhum. E, quanto menos a gente legisla do jeito correto — pensando não numa ferramenta específica, mas em princípios —, acontecem histórias de gente citando, por exemplo, “Skype” numa lei, no Código Civil. É, então a gente tem que fazer um trabalho bem importante aí, compreendendo a

(08:31) tecnologia e abstraindo tanto quanto possível das implementações em si, das ferramentas concretas. Uhum. Pode-se partir dela, sem dúvida, mas não dá para ficar fazendo lei toda vez que aparece uma ferramenta ou uma feature diferente. Enfim, fico meio assim, porque não é bem minha área, né, Guilherme? Não é minha área. Não, mas é um resumo — estou fazendo um resumo.

(09:00) Para quem não é da área: a coisa está toda feita de um jeito incorreto. O decreto tem que regulamentar uma lei; só que aqui tivemos um decreto que regulamenta a decisão, a interpretação que o STF deu à inconstitucionalidade. O que deveria ter acontecido era o legislador, com base nessa decisão, ajustar o Marco Civil.

(09:26) E ele não fez. E aí temos esse decreto, que traz certa insegurança jurídica — um descumprimento daquela lógica de como as coisas deveriam ser feitas. Mais um capítulo para essa situação. Vamos ver, a partir de agora, como isso será implementado no nosso dia a dia. Com essa consolidação, a tendência é isso ganhar mais corpo no cotidiano dos conteúdos na internet. Sim.

(09:59) >> Bom, vamos virar um pouco a chave. Vinícius, você trouxe três notícias — vou pegar uma mais leve, porque duas envolvem IA. Das duas. Achei essa do Squid especialmente interessante pelo tempo que a vulnerabilidade ficou lá.

(10:25) Conta para nós o que descobriram, como descobriram e os eventuais impactos de vulnerabilidades antigas que começam a aparecer com IA. Primeiro, tem aquela questão: será que, com IA, a gente descobriria essa vulnerabilidade, ou sem IA a descobriríamos ou não? Uhum. Será que seria eventualmente explorada ou não.

(10:49) A gente não tem mais como saber, porque, em tese, ninguém a havia descoberto até então. É uma vulnerabilidade curiosa. O Squid, para quem não sabe, é um proxy com praticamente 30 anos, talvez um pouco mais. Está há bastante tempo no mercado, é open source, e há muita gente que o usa, ou produtos construídos com base nele.

(11:17) A gente mesmo usou o Squid durante muitos anos. Uhum. E o que acontece? É um proxy: você conecta seu navegador nele e navega na internet passando por ele. A primeira vantagem é fazer algum tipo de cache, evitando que, por exemplo, numa empresa com muitos funcionários ou numa universidade com muita gente acessando as mesmas coisas com frequência,

(11:46) ele precise ocupar o link repetidamente — faz a requisição uma única vez e guarda os objetos (imagem, vídeo, texto etc.) numa cache. O próximo cliente que pedir pega direto da cache, sem ocupar a internet de novo, economizando o link. Estou dando uma explicação bem por cima aqui,

(12:08) para ficar claro para todo mundo. Outra possibilidade é auditar o que passa por ele: dá para colocar filtros para não acessar material inadequado no ambiente de trabalho, ou determinados sites de compartilhamento de conteúdo. E, mesmo naquilo que se permite acessar,

(12:37) dá para auditar quanto tempo, com que frequência o usuário entra no site, quanto tempo ficou, por onde navegou. Claro que tudo isso, Guilherme, precisa de uma política de segurança bem comunicada pela empresa ou instituição a quem usa o proxy, porque, senão, pode violar a privacidade e os dados pessoais que circulam nessas conexões. Bom, acontece que há um bug no Squid encontrado com o Mythos. Esse bug permite que um atacante já autorizado a usar o Squid — precisa ser um usuário que pode usar esse proxy para navegar, não qualquer pessoa

(13:17) da internet, então já limita um pouco, não muito, mas limita — faça, por meio desse proxy, uma requisição direcionada a um servidor FTP, que quem não é da área provavelmente não usa há anos. Aham. Se usou, foi sem querer. Mas há um servidor FTP,

(13:45) que precisa ser controlado pelo atacante. E esse servidor FTP, quando o Squid conecta nele, precisa responder: “Eu sou um servidor FTP Netware.” Uhum. Quando diz que é um servidor FTP Netware — um sistema antiquíssimo, isso está lá há 29 anos — Uhum.

(14:09) ele habilita um esquema para ignorar espaços em branco, se não me engano. Isso, ele pula espaços em branco. Tem essa rotina específica para esse servidor FTP, que quase ninguém mais usa.

(14:44) Ao ativar essa rotina de retirar os espaços em branco — porque, ao converter a listagem de arquivos do FTP, ele remove esses espaços e monta uma página HTML —, é isso que ele faz. Só que, ao ativar essa rotina, ele entra num caminho de execução que não é o regular, no qual ignora

(15:11) o fim de uma string. Ou seja, em vez de ler apenas o conteúdo que deveria, ele se desencarrilha, digamos assim, e lê um monte de coisa que vem à frente na memória, além do que deveria. Aí dá um buffer overflow? Não, não é um buffer overflow — ele não está escrevendo onde não deveria. O que acontece é que, ao ler a string, ele não identifica corretamente o final; lê até encontrar um caractere \0 (nulo), que marca o fim da string.

(15:38) Só que, ao fazer essa leitura, o que vem à frente são pedaços de requisições e conteúdos de outros usuários que usam aquele mesmo proxy. Ele consegue ler a memória de outros usuários? Ele lê a memória do Squid referente a requisições de outros usuários. Seria um heap overread — está fazendo uma leitura além do que deveria.

(16:09) Ele acaba recuperando uma informação que está na memória — uma listagem de pastas que seria mostrada ao usuário/atacante — e continua lendo além dela. Eventualmente, pode encontrar, por exemplo, a requisição que o Guilherme fez e devolvê-la ao Vinícius, que é o atacante.

(16:29) >> Mas provavelmente ele pega algo aleatório de outro usuário? Não dá para monitorar tráfego e coisas do gênero? Não, é isso — o atacante não controla o que vai ver. Aham. Mas, se fizer isso com frequência, eventualmente consegue pegar alguma credencial de acesso.

(16:50) Só que há mais uma limitação importante: só é possível pegar conexões que passam pelo Squid e que não estejam cifradas fim a fim. Uhum. Túneis SSL/TLS que usam o método CONNECT — passando pelo proxy completamente cifrados — o proxy não tem o que fazer com isso.

(17:15) O atacante não consegue nada nesses casos. É só aquilo que não está cifrado, ou onde o túnel SSL/TLS vai do cliente até o proxy e este abre um novo túnel até o servidor — aí ele vê o conteúdo não cifrado, e o atacante teria acesso a ele. Então são duas falhas:

(17:41) o heap overread, em que se lê muito mais informação da memória do que deveria, e o segundo erro é que o Squid reutiliza memória sem limpá-la. Uhum. Ele pega a memória usada para atender, por exemplo, uma requisição do Guilherme; ao reutilizá-la, não a zera —

(18:07) >> Aham. apenas escreve por cima e insere um fim de linha, onde deveria parar de ler. Só que, nessa vulnerabilidade, esse fim de linha é ignorado, e o sistema lê todo o “lixo” que havia na memória antes — que pode conter qualquer coisa. Deixa eu te perguntar uma coisa. Fala. Pode falar? Sim. Isso ficou 29 anos lá, Aham. e foi encontrado usando o Mythos. Não há notícia de que tenha sido explorado alguma vez? Está aí um bug encontrado e resolvido. É porque a gente mexe um pouco com aquela questão do software de código aberto ser supostamente mais seguro.

(18:54) A gente sabe que há uma série de questões já discutidas aqui. O fato de o código ser aberto não implica, necessariamente, avaliação efetiva — é um potencial, não garantia de que todo software livre será auditado.

(19:15) A questão é que há muita gente eventualmente mexendo ali, então há uma chance maior de descobrir falhas. Também envolve poder submeter qualquer software ao Mythos para tentar descobrir coisas que um humano dificilmente descobriria. Talvez a gente estivesse protegido, até então, pela incapacidade humana de descobrir certas coisas,

(19:41) e a IA vai abrindo portas — assim como abre portas para descobrir outras coisas em que também temos limitações. Minha esposa comentou, esses dias, que descobriram uns manuscritos enrolados num papiro — creio que em Herculano, na Itália — que não conseguiam abrir por causa das cinzas do Vesúvio.

(20:06) E parece que conseguiram, com raios X ou algo assim, desdobrar o manuscrito virtualmente, com IA — algo inviável antes. Então estamos abrindo portas novas com a IA,

(20:29) em várias áreas do conhecimento. Estamos falando de segurança agora, mas é, no fundo, conseguir olhar o mundo com outras lentes. Acho isso interessante. Não sei se essa vulnerabilidade específica não seria encontrada por um ser humano. Sim, sim, sim, sim.

(20:49) Falo em tese mesmo. Acho que é mais uma questão de volume de código nesse sentido, sim. É muita coisa para acompanhar o tempo todo. E aí vem um ponto interessante: há duas questões no open source. Uma é a liberdade de utilizá-lo —

(21:07) essa é a grande vantagem: não existe um governo que determine que você não pode usar, ponto final, como ocorreu recentemente com o modelo Fable, da Anthropic, e como se tentou fazer com o PGP no passado. Já comentamos sobre isso. A outra questão é em relação ao código-fonte.

(21:27) A IA ajuda muito nesse processo, porque, mesmo com pouco tempo ou conhecimento limitado, hoje há uma chance razoável de auditar um código open source, habilitada justamente pela IA. Ganha-se o tempo — e, muitas vezes, a expertise — que não se teria para fazer ao menos uma checagem num software open source a ser utilizado.

(21:56) Existe um ganho interessante em segurança para a comunidade open source com o uso de IA, porque é possível verificar o código-fonte — é muito mais fácil checar do que tentar fazer engenharia reversa num software proprietário, que muitas vezes nem permite isso, o que os próprios termos de uso costumam vedar: proibição de engenharia reversa ou testes sem autorização, mesmo sem atacar os serviços da empresa, mesmo que feito totalmente no computador do usuário. O

(22:28) open source, nesse sentido, é muito mais amigável para esse tipo de aplicação. Acho que vamos ganhar bastante em segurança no open source por causa dessa combinação com o uso de IA — vai acelerar o processo. Ao mesmo tempo, concordo que vai haver muita porcaria desenvolvida em open source com IA. Vamos ter mais código de baixa qualidade para revisar, o que eventualmente vai atrapalhar.

(22:56) Mas, enfim, estamos ecléticos hoje: saímos de inconstitucionalidade para vulnerabilidades antigas em software. E é delicado, porque é preciso certo cuidado para não confundir demais o próprio ouvinte, já que são saltos temáticos grandes. Mas, enfim, vamos lá. É um café, né? Dá para ouvir, pausar, continuar depois, pensar sobre o assunto, voltar,

(23:29) e por aí vai — dá para ir com calma. Há outro tema, também envolvendo IA, que chamou bastante atenção no último final de semana. Deixa eu conferir a data de publicação — foi no dia 27; hoje estamos em 29, e a publicação foi em 27/06. Um alerta chamou bastante atenção: um homem estava usando o ChatGPT como se fosse um diário pessoal.

(24:02) Nesse diário, começou a escrever uma série de intenções, inclusive matar o próprio filho. Sim, e cometer um atentado. Ele estava usando a ferramenta para declarar essas intenções. O que aconteceu? O ChatGPT — que provavelmente, certamente, tem salvaguardas para esse tipo de situação, e logo me lembro da questão de prevenção ao suicídio, e de como esses grandes modelos de linguagem lidam com

(24:37) esse tipo de coisa (o GPT-4, por sinal, é bem fraco nesse aspecto, né? Sim) — devem ter, enfim, suas salvaguardas. Nesse caso, disparou um alerta para o FBI, que avisou a polícia brasileira no Espírito Santo. A polícia foi até o local e prendeu o homem, de 36 anos, que planejava matar o filho e cometer um atentado. Ele admitiu, Guilherme? Ele admitiu e, por isso, foi preso, ou negou e mesmo assim foi preso?

(25:22) Isso é importante, né? Não tenho essa informação aqui. A notícia utilizada é do G1, que vai constar no show notes. Há algumas camadas nesse problema. Numa primeira análise: quem poderia ser contra a polícia impedir que um homem matasse o próprio filho e cometesse um atentado? De dez em dez

(26:00) pessoas que você perguntasse, todas diriam que a polícia agiu bem e que, de fato, impediu o sujeito de cometer dois crimes: matar o próprio filho e o atentado. Só que a realidade é mais complexa. E, no direito, os meios importam — é o campo em que se exige utilizar os meios corretos para chegar aos fins desejados. No direito, os fins não justificam os

(26:39) meios. Também no direito, também no direito. Também no direito. Há aquelas discussões de filosofia moral — o dilema do trólei: um trem, e você tem o poder de desviá-lo; se não desviar, mata cinco pessoas; se desviar, mata uma pessoa só.

(27:06) Evitaria um mal maior, mas estaria agindo para matar uma pessoa, quando a omissão mataria quatro ou cinco. O direito tem esse — digamos — inconveniente, na visão de alguns, mas também é um sustentáculo democrático: as regras do jogo são essas e, para condenar alguém, é preciso segui-las todas.

(27:32) Qual é o problema aqui? Primeiro, talvez as pessoas ignorem que o uso de muitas ferramentas de IA permite o escrutínio daquilo que estavam falando. Os termos de uso permitem isso, mas, ao mesmo tempo, não podem conter qualquer coisa.

(27:58) Os termos de uso não podem violar garantias fundamentais, nem a proteção de dados — garantia constitucional aqui no Brasil e também na Europa. De repente, uma ferramenta que analisa o que você fala pode repassar isso à polícia sob suspeita de intenção criminosa.

(28:22) E aí surgem dúvidas: quais crimes? Qual a extensão dessas possibilidades? Trata-se de um sujeito que declaradamente diz que vai cometer um crime, ou de identificar gatilhos comportamentais que sugerem potencial cometimento futuro, mesmo sem declaração direta?

(28:50) Como isso funciona? Se sou usuário de uma dessas ferramentas, quero saber se está sendo feita uma análise psicológica para entregar as pessoas à polícia. É delicado, porque sequer houve consumação do crime, o que é outro problema. Comentávamos isso hoje de manhã — não sou criminalista, mas estava conversando com uma professora de direito penal, e falávamos disso porque,

(29:16) ao cometer um crime, existe o chamado iter criminis: cogitação, preparação, execução e consumação — são quatro fases. Me fugiu o termo agora, mas enfim.

(29:40) O que acontece aqui: na fase de cogitação, ainda não há crime. Se eu só penso em matar alguém e não inicio a execução, não cometi crime nenhum. Cogitação, preparação, execução e consumação —

(30:03) consumação é quando o crime se realiza. Segundo a própria matéria, ele negou aos policiais a intenção de matar o filho. Uhum. Confessou ter feito as pesquisas. Aham. O próprio delegado afirmou isso: confessou as pesquisas, mas negou a intenção de praticar os atos. Por quê? Porque estaria em fase de cogitação — a não ser que se entenda isso já como fase de preparação.

(30:32) >> Aham. Pense: “vou matar o Vinícius” — beleza , vou acionar a polícia mesmo. Melhor não usar a gente como exemplo. Um sujeito qualquer pensa em matar alguém e começa a pesquisar na internet como fazer isso, sobre venenos,

(30:53) e eventualmente até compra um. Mas note: ainda não iniciou a execução. Comprou uma arma, tudo certo, mas ainda não começou a execução. Nesse caso, ele ainda estava na fase de cogitação — pensando, conversando com uma IA,

(31:14) e não estou defendendo o sujeito — não é esse o ponto. Não sei se ele mataria de fato, mas o problema é que estamos diante de um homem preso sem ter cometido crime. Uhum. E a questão é: se a gente começar a vasculhar as comunicações de todo mundo, é complicado, porque as pessoas falam coisas sem intenção, brincam, ou usam aquele ambiente como terapia, sei lá.

(31:51) É delicado. É aquele velho problema, Guilherme: não sou operador do direito, como se diz. Aham. No olhar leigo — entendi o que você colocou —, para mim parece que esse sujeito estava falando sério. É meio desproposital.

(32:20) Se ele tivesse ao menos uma explicação — suponha que fosse roteirista. Isso já aconteceu mais de uma vez nos Estados Unidos, com roteiristas de verdade. Uhum. Escrevendo um roteiro de filme sobre crime, Uhum. ou de terror.

(32:43) Se está escrevendo um roteiro policial e quer realismo, sem se basear numa situação real, pode pesquisar quanto tempo um corpo leva para se decompor em determinado ambiente, como descrever o estado em que foi encontrado, qual medicamento seria letal sem deixar traços mínimos. Isso, entende, parece plausível —

(33:18) mas, nesse caso, o sujeito teria como explicar: “escrevi essas pesquisas porque sou roteirista, estou escrevendo um roteiro.” É fácil demonstrar ausência de intenção. Não estou dizendo, mas o ponto é esse, né? É que a intenção, por si só, não é punível no âmbito da cogitação.

(33:47) >> Sim, entendi. A não ser que se inicie a execução — e se arrependa, ou seja impedido, ou não consiga por circunstâncias externas (crime impossível). E, pelo que se descreve, ele nem chegou a isso — o que ele fez não configuraria crime. Isso que ele fez não seria crime? Não, porque

(34:22) — mas, ao mesmo tempo, ele teria que dar um jeito de explicar? Aí está: se a gente passar a escrutinar tudo o que as pessoas falam em ambientes com expectativa de privacidade, vamos ter muitos problemas. Uhum. “Mas eu quero evitar que crimes ocorram” — é essa a linha que vamos seguir a partir de agora?

(34:48) Todas as comunicações plenamente monitoradas, uma série de gatilhos, e o que você disser é enviado à polícia? Aham. A própria empresa viola a expectativa de sigilo sobre certas conversas. E, sem cometer crime, você pode passar a ser investigado por intenções que eventualmente aparecem. É diferente de alguém que já cometeu um crime e diz “quero esconder o corpo”. Vejo

(35:20) uma questão interessante: quem usa a IA como psicólogo, Aham. independentemente de isso ser adequado. Numa conversa com um psicólogo ou psiquiatra profissional, você pode dizer o que quiser.

(35:46) Pode dizer: “minha vontade é matar fulano.” Uhum. Mas ele não vai te entregar à polícia, salvo se perceber um risco iminente. Não sei como isso funciona exatamente na ética profissional. Um risco iminente a outra pessoa, talvez. Sim.

(36:11) Mas, ao mesmo tempo, pode estar apenas elaborando, colocando isso para fora numa conversa. Se faz isso com a IA, com a expectativa de que ela cumpre o papel de psicólogo, sentindo-se até mais seguro — por não estar diante de uma pessoa que, por falha, poderia repassar aquilo a terceiros —

(36:34) é ainda pior, porque a expectativa de privacidade não corresponde à realidade. Uhum. Não estou dizendo que deveria ter essa expectativa — já vimos muita gente usando assim, mas sem noção de que aquilo pode estar sendo avaliado e eventualmente entregue ao FBI,

(36:57) que pode repassar ao governo brasileiro, que aciona um órgão de polícia para ir até a casa da pessoa. Mas, de novo, um avanço? De novo, acho que, nesse cenário, a pessoa conseguiria demonstrar: “estou usando isso como terapia, falo coisas sem relação com a realidade.”

(37:25) Ninguém é obrigado a dar explicações à polícia se não cometeu crime. Aham. Isso não existe. “Por que você pesquisou isso?” Não precisa explicar, não é crime. Não estou defendendo que pessoas cometam crimes e fiquem impunes — não é esse o ponto.

(37:46) O ponto é que, numa sociedade democrática, há garantias — por exemplo, não produzir prova contra si mesmo. Quanto aos profissionais com dever de sigilo — psicólogos, psiquiatras, padres —, em regra, se você relata um crime já cometido, o sigilo é mantido.

(38:13) Agora, se diz “vou matar de novo” ou “vou me suicidar”, nesses casos, cabe ao profissional agir para proteger, por exemplo, a vida do paciente, evitando o suicídio.

(38:36) É difícil de explicar, porque, no fim das contas, isso pode ter salvado vidas — é um dilema moral, mas, por trás, há uma lacuna regulatória. Seria preciso regular esse tipo de questão. É um problema ético, mas também jurídico. Acho que não vamos entrar nessa toca de coelho, porque vai fundo, mas já ouço muita gente dizendo que a IA é uma ameaça grande à privacidade.

(39:02) >> Claro, muito grande — e essa é justamente uma das razões da tensão entre o governo americano e a Anthropic: ela habilitaria a vigilância doméstica em massa, sem contar a internacional. Isso lembra um pouco Minority Report, para quem não assistiu ao filme com Tom Cruise —

(39:37) havia uma tecnologia baseada em, acho, três pessoas, os precogs, os precogs, capazes de prever quando alguém cometeria um crime. E literalmente, o filme começa — vou dar spoiler, já é bem antigo — se não assistiu, já devia ter assistido, é baseado em Philip K. Dick. No início, prendem um homem que iria — se não me engano — matar a esposa; ele é algemado e informado de que está sendo preso por um assassinato futuro, previsto para determinada hora.

(40:06) Eles previam tudo. Parece que estamos indo por um caminho parecido, porque esse caso foi justamente isso: ele estava num processo inicial que, pelo que você descreveu, não configurava crime — Aham. de planejar a morte do próprio filho, uma criança, o que mexe bastante por se tratar de criança, mas isso remete a outros aspectos também. Nesses 14 anos gravando

(40:40) o Segurança Legal, vimos uma série de medidas que avançavam sobre direitos das pessoas, como propostas de quebrar a criptografia de mensageiros como o WhatsApp, sob o argumento — sob o argumento de que isso salvaria vidas de crianças. Vimos, inclusive, o Diego Aranha contrapor esse argumento junto ao Ministério Público — afinal, quem seria contra salvar crianças? Uhum.

(41:12) Mas, quando se abre esse tipo de porta com esse argumento, corre-se o risco de, em escala global, violar a privacidade, a proteção de dados e o direito à integridade e confidencialidade de sistemas informacionais — o que remete ao debate legislativo em curso . Uhum. Vamos, Vinícius, para você.

(41:39) Eu tinha três notícias, mas vou falar de duas — já estamos com o tempo apertado. Vou pegar a última, mais uma, Manda lá, Já alertei, há um tempo, sobre a questão da segurança no uso de IA para desenvolvimento, entre outras aplicações. O pessoal está muito preocupado com privacidade e envio de dados às empresas.

(42:03) >> Como no caso que acabamos de comentar — em várias dessas aplicações usadas para programar, buscar vulnerabilidades etc., há a opção de marcar se os dados — principalmente em planos empresariais, mas também nos individuais — serão usados para treinamento. A OpenAI usou dados para outro fim, mas, em tese, não para treinamento nesse caso. O pessoal se preocupa: “vou usar uma ferramenta de IA com meu código,

(42:35) e se usarem para treinamento?” Eles afirmam que não, conforme as políticas. “Mas eu não acredito na política” — então não se pode usar Microsoft, Google, nada, porque, se não se acredita na política do fornecedor, há um problema sério.

(42:56) Claro que há também a questão reputacional das empresas no mercado, e não se trata de confiar cegamente em qualquer política, mas o problema que considero maior e mais intenso é o uso de MCPs, skills e comandos. Já falei sobre isso aqui no Segurança Legal.

(43:18) Essas ferramentas estendem o agente de IA que roda na sua máquina. Via MCP, skill ou comando, é possível injetar algo que faça o agente ter comportamentos inesperados — como enviar informação

(43:41) para fora, para um site ou algo parecido. Só uma interrupção: o MCP, para quem não conhece, conecta a sua IA a outros sistemas, né? Sim. Os três recursos — MCP, skills e comandos — permitem isso de formas diferentes,

(44:01) estendendo a capacidade do agente de IA. Com qualquer um dos três, é possível conectar a sistemas e ambientes externos e trazer informação externa para dentro do seu ambiente.

(44:19) Os três permitem isso de maneiras diferentes. Sim. Você conecta sua agenda ao Claude para marcar compromissos, pesquisar e-mails; há extensões para desenhar telas, cuidar de repositórios, fazer verificação de segurança, e por aí vai. Uma empresa chamada Air resolveu fazer o seguinte: criou uma skill falsa — uma extensão que não fazia o que dizia fazer, chamada “brand landing page”, supostamente para gerar landing pages. Publicaram essa skill num repositório-marketplace bastante popular, com mais de 36 mil estrelas no GitHub. Repositórios com muitas estrelas tendem a inspirar mais confiança do que um com 10, 20, 100 ou 1.000.

(45:27) Eles já tinham 156 skills publicadas ali. Incluíram essa skill e fizeram um anúncio no Instagram. Ela foi instalada em mais de 26 mil agentes ao redor do mundo,

(46:00) incluindo contas corporativas, e passou pelos scanners da Cisco, da NVIDIA e das próprias plataformas de registro desses repositórios, sendo aprovada como segura, junto com as outras 156 já existentes. O detalhe: essas extensões são dinâmicas — ao instalar uma skill, MCP ou comando, se ele busca informação fora do seu ambiente, essa informação não está no repositório de onde você a baixou, que “aparenta” ser confiável.

(46:25) Vem de um site controlado pelo atacante. O que fizeram: a skill buscava conteúdo externo (uma URL com instruções), o que passou pela análise dos scanners sem problemas. Depois que 26 mil agentes a instalaram, não alteraram o repositório (o que chamaria atenção);

(46:48) alteraram as instruções hospedadas no site de onde a skill baixava o conteúdo a ser executado. Uhum. O que essas instruções fizeram? Isso me chamou atenção — acho que poderiam ter feito diferente: a skill passou a enviar o endereço de e-mail de quem a instalou para um servidor controlado pela Air, a empresa responsável pelo experimento.

(47:17) Se fosse eu, não coletaria dados reais — talvez gerasse um ID único para contar instalações. Poderiam ter usado o e-mail apenas como contagem? Mas coletaram — dá para chamar de incidente — os endereços de e-mail de fato.

(47:38) Se havia e-mails pessoais, houve exposição de dado pessoal. Se corporativos, dá para identificar quem usava o quê dentro da empresa — possível exposição de informação confidencial corporativa. Há uma série de problemas aí. Mas o ponto é: vamos ver muito mais casos assim. Não me canso de enfatizar isso:

(48:04) usar IA para desenvolver não é só instalar a ferramenta e sair codificando. Aham. É preciso atenção grande ao que se usa para estender os agentes de desenvolvimento e à origem das informações utilizadas.

(48:24) Por exemplo: ao usar um repositório de terceiros para obter alguma funcionalidade, esse repositório pode conter instruções direcionadas a um agente de IA, entende? Uhum. Uma coisa que faz diferença, na minha experiência, é usar modelos menos avançados — competentes para desenvolver, mas menos aptos

(48:53) a detectar coisas no limiar do potencialmente malicioso. Uhum. Ao trazer um repositório de terceiros para o projeto, com instruções de IA embutidas, dependendo da ferramenta e do modelo, ele pode não perceber que aquilo não pertence ao repositório baixado

(49:25) >> Uhum. e simplesmente executar essas instruções. Por isso, muito cuidado ao usar IA para desenvolvimento, dentro ou fora da empresa. É isso que se deve observar: MCP, skill, comandos etc. Fala. Quando a gente fala em skills, sobretudo Aham,

(49:44) quem usa Instagram, Twitter e afins vê muito conteúdo tipo “nova skill, faz isso muito mais rápido”, e a galera clica sem saber exatamente o que é. Está bombando. E, no mundo jurídico, há MCPs que prometem entregar jurisprudência atualizada de todos os tribunais.

(50:18) Paga-se um valor mensal, conecta-se o Claude a um desses serviços de busca, e ele entrega a jurisprudência. Só que, dependendo do uso, terceiros passam a ler o que se pede, ou o conteúdo que ativa essas skills — comandos, contratos de clientes, petições iniciais, no meio jurídico. Além do risco de a skill ou MCP terem vulnerabilidades,

(50:56) não se sabe como armazenam as informações recebidas. Nada impede que uma petição inicial enviada a um MCP seja processada por terceiros. O que fazem com esse conteúdo? Não é só o erro na resposta da IA que é problemático —

(51:21) é o que se faz com os dados recebidos por meio de skills e MCPs, aos quais se confia automaticamente ao conectá-los. É, você confia naquilo e segue. É preciso entender o impacto e o funcionamento.

(51:46) Não dá para simplesmente conectar um MCP, ou baixar skills de um marketplace, sem cuidado — pode-se conceder muito mais acesso do que se imagina, diretamente à infraestrutura, à máquina de quem desenvolve, cheia de credenciais de acesso a bancos de dados e ambientes de desenvolvimento, homologação e produção.

(52:08) É um vetor bem delicado. Como comentei numa palestra sobre desenvolvimento, o pessoal se preocupava principalmente com uso de dados para treinamento. Isso não é o mais grave. Claro, é preciso checar a política do fornecedor,

(52:37) mas não é o pior problema. Um MCP, skill ou comando integrado sem cuidado é muito mais perigoso do que deixar ativa telemetria ou uso de dados para treinamento — o efeito imediato é muito mais grave,

(53:01) entende? É. E, com pessoas usando IA em profissões cada vez mais diversas — médicos, por exemplo. Recentemente, soube de um caso em que um médico inseriu a anamnese de um paciente no Claude ou no ChatGPT

(53:33) e usou a IA para decidir qual medicamento prescrever. Talvez isso até possa ser positivo, considerando que profissionais de diversas áreas nem sempre executam bem seu trabalho — mas e os dados? Lembrando do caso anterior, entregue ao FBI: e se o paciente tem uma doença sensível, ou esses dados forem usados para criar um perfil dele, ou

(54:06) houver dever de confidencialidade sobre determinada situação que, via skill ou MCP, acaba indo para terceiros — há violação de dever contratual de confidencialidade, especialmente relevante para categorias profissionais com deveres reforçados, como psicólogos. Tudo isso acontece num ritmo acelerado pela IA,

(54:36) sem regulação específica. Uhum. A LGPD serve para muita coisa — decisões automatizadas, por exemplo —, e boa parte do que discutimos aqui poderia configurar violação à LGPD, mas isso não é o cerne da regulação necessária. E, de repente, há

(55:13) muita gente com acesso aos dados de quem usa IA. É preocupante. Vamos ter muitos incidentes de segurança envolvendo isso. Com isso, encerro minha participação neste cafezinho. Encerrou de forma contundente, né? E o jogo do Brasil, que está rolando agora? A gente está gravando aqui…

(55:35) sabe que você cometeu uma gafe ao falar isso, né? Agora vão saber que estávamos gravando durante o jogo do Brasil e não estamos assistindo. Ó, virada dramática no fim: Brasil derrota o Japão e avança às oitavas de final. Foi contra o Japão? Oitavas, sim — é mata-mata. Eliminou o Japão. Podemos ser até criticados por não estar vendo o jogo do Brasil. Pelo contrário — estamos gravando no horário do

(56:03) jogo do Brasil justamente para não deixar a semana sem episódio; se não conseguíssemos gravar hoje, perderíamos a semana, o que às vezes acontece. Se não conseguir, não tem mais jeito. Verdade, estávamos sem tempo essa semana. Se eu não gravasse hoje, já era, não tinha mais o que fazer.

(56:22) >> Então está aí, sacrificando o jogo do Brasil. Não que eu fosse assistir, mas tudo bem. Eventualmente deixaria ligado. Enfim, acho que terminamos bem. Agradecemos a quem nos acompanhou até aqui — nos encontramos no próximo episódio do Segurança Legal. Até a próxima. Até a próxima.

Imagem do Episódio – Composição VII – Kandinsky

Podcast: Play in new window | Download

Subscribe: RSS

Assista no YouTube

Miniatura do vídeo: STF e MCI, bug de 30 anos no Squid, MCPs, Chatgpt e a polícia