A Anthropic publicou no fim do dia de ontem um post cuja introdução merece ser destacada por inteiro:
Nossos experimentos sugerem que modelos pequenos de IA (inteligência artificial) podem, daqui a poucos meses, ser capazes de se autorreproduzir em dispositivos comerciais conectados à internet (internet of things, ou IoT), como fornos inteligentes ou dispositivos Android para TVs. Um modelo replicador como esse seria complicado de desligar, já que não existiria um ponto central de desligamento - mesmo que ele seja lento em tempo de reprodução, com um ritmo de duplicação de dias.
Esse é talvez o principal temor dos pesquisadores de IA e é explicado no mesmo texto da Anthropic, um pouco adiante:
As capacidades cada vez melhores da IA fazem de uma preocupação antiga algo cada vez mais realista: a replicação e adaptação autônomas (ARA), em que um modelo se implanta e se propaga sem controle humano.
Em tecnologia, um worm é um programa de computador que se copia de uma máquina para outra sem ajuda humana. Estudos anteriores já mostraram que agentes de IA podem agir como um worm: eles estudam a rede, exploram uma vulnerabilidade e copiam os pesos do modelo para outra máquina na mesma rede.
Isso é um pesadelo: modelos de IA que podem rodar sem depender de servidores centralizados e que, caso sejam maliciosos, podem se replicar em muitos dispositivos conectados à internet e com pouca segurança. Não haveria um botão para desligar tudo de uma vez.