Ex-funcionário cobra mais cautela no desenvolvimento de sistemas de IA

David Robinson, ex-integrante da área de segurança da OpenAI, afirmou que as empresas de inteligência artificial precisam reduzir a pressa no desenvolvimento de sistemas avançados. Na avaliação dele, a velocidade da disputa tecnológica aumenta a possibilidade de falhas e exige mais espaço para especialistas em segurança e pesquisadores.

As críticas foram publicadas em um artigo na revista norte-americana The Atlantic no sábado, 3 de outubro. Robinson disse que companhias como a OpenAI não adotam um nível de cautela suficiente diante dos riscos dos modelos mais avançados.

Crítica ao lançamento gradual

O ex-funcionário questionou a chamada implantação iterativa, prática descrita pela OpenAI como o lançamento de sistemas seguido do reforço dos controles de segurança conforme os problemas aparecem. Para Robinson, esse modelo não oferece a margem necessária para lidar com tecnologias cujas capacidades avançam rapidamente.

Ele defendeu medidas de proteção comparáveis às adotadas em setores como a energia nuclear e a aviação. A avaliação ocorre em meio ao debate sobre a rapidez com que as companhias desenvolvem novos modelos. OpenAI e Anthropic passaram a ser questionadas depois de episódios envolvendo falhas em controles de segurança e comportamentos inesperados em sistemas experimentais.

Robinson afirmou ter trabalhado por três anos e meio na OpenAI. Nesse período, participou da elaboração da estrutura usada pela empresa para lidar com riscos e supervisionou relatórios de segurança referentes a 12 lançamentos de modelos avançados.

Resposta da OpenAI

Segundo Robinson, a empresa não estaria conseguindo manter o nível de cuidado que ele considera necessário ao passar de um lançamento para outro. Ele também alertou que as capacidades dos sistemas estão evoluindo mais depressa do que o conhecimento dos pesquisadores sobre alinhamento, área dedicada a fazer com que a inteligência artificial siga objetivos e valores humanos.

Em resposta, a OpenAI afirmou que procura impedir que seus modelos se tornem mais avançados do que a capacidade da empresa de administrá-los com segurança. A companhia também declarou que pode interromper treinamentos ou suspender modelos quando for preciso desacelerar o processo.

Outros alertas no setor

As críticas de Robinson se somam a manifestações de outros profissionais. Um ex-pesquisador que passou pela OpenAI e pela Anthropic deixou a indústria no mês anterior e acusou as duas empresas de agir de maneira irresponsável.

Jacob Coxon, de 27 anos, trabalhou com pré-treinamento, etapa em que os modelos absorvem grandes volumes de informação. Ele passou três anos na área, primeiro na OpenAI e depois na Anthropic, e afirmou que as companhias estariam avançando em direção a uma superinteligência capaz de se aprimorar sozinha sem oferecer garantias suficientes sobre os riscos.