A OpenAI, empresa por trás do ChatGPT, desenvolveu uma ferramenta que pode dizer se o modelo de linguagem grande gerou um pedaço de texto, mas está hesitante em lançá-la devido às respostas negativas dos clientes.
A ferramenta de detecção envolve marca d’água de texto – fazendo pequenas alterações na forma como o ChatGPT seleciona suas palavras de uma forma que pode ser detectada com alto grau de precisão com uma ferramenta que conhece a marca d’água.
De acordo com o The Wall Street Journal, lançar a ferramenta de detecção seria “apenas uma questão de apertar um botão”, mas os resultados de uma pesquisa mostraram que quase 30% dos usuários do ChatGPT usariam menos a ferramenta de inteligência artificial (IA) se ela implementasse marca d’água, enquanto os chatbots rivais não o faziam.
Por que a OpenAI não lançou a ferramenta de detecção ChatGPT?
De acordo com um porta-voz da OpenAI, “O método de marca d’água de texto que estamos desenvolvendo é tecnicamente promissor, mas tem riscos importantes que estamos ponderando enquanto pesquisamos alternativas”, disse ela. “Acreditamos que a abordagem deliberada que adotamos é necessária, dadas as complexidades envolvidas e seu provável impacto no ecossistema mais amplo além da OpenAI.”
A empresa também atualizou uma página em seu site para elaborar alguns de seus raciocínios. Uma preocupação fundamental que eles têm é o fato de que a marca d’água poderia “impactar desproporcionalmente alguns grupos”, particularmente falantes não nativos de inglês que usam IA como ferramenta de escrita.
Eles também detalharam suas preocupações sobre a facilidade com que a marca d’água poderia ser superada, afirmando: “Embora tenha sido altamente precisa e até mesmo eficaz contra adulteração localizada, como paráfrase, é menos robusta contra adulteração globalizada; como usar sistemas de tradução, reformular com outro modelo generativo ou pedir ao modelo para inserir um caractere especial entre cada palavra e, em seguida, excluir esse caractere – tornando-o trivial para ser contornado por malfeitores”.
Na mesma página, a OpenAI também menciona que seu foco tem sido desenvolver ferramentas para detectar conteúdo audiovisual porque imagens, áudio e vídeos “são amplamente considerados como apresentando níveis mais altos de risco neste estágio de capacidades de nossos modelos”.
Por que a detecção eficaz de IA é tão importante?
De acordo com o The Wall Street Journal, uma pesquisa recente conduzida pelo Centro para Democracia e Tecnologia mostrou que 59% dos professores do ensino fundamental e médio têm certeza de que alguns alunos estão usando IA em seu trabalho, um aumento de 42% em relação ao ano anterior, e os debates sobre IA na educação continuam.
Um dos problemas é a falta de ferramentas de detecção de IA eficazes – há muitas por aí, mas as mais proficientes estão bloqueadas atrás de paywalls, e mesmo estas não são imunes a falsos positivos e outras falhas. Existem algumas maneiras de saber se uma IA escreveu um pedaço de texto, mas conforme a tecnologia por trás desses LLMs se torna mais sofisticada, será mais difícil detectá-la.
À medida que fica mais claro para as partes internas da OpenAI que o método de marca d’água não afetará a qualidade da saída do ChatGPT, a resistência interna à retenção da ferramenta aumenta. “Nossa capacidade de defender nossa falta de marca d’água de texto é fraca agora que sabemos que ela não degrada as saídas”, disseram funcionários que estavam envolvidos no teste da ferramenta, de acordo com documentos internos vistos pelo The Wall Street Journal. “Sem isso, arriscamos a credibilidade como atores responsáveis”, disse um resumo de uma reunião recente sobre a questão da detecção de IA.
Crédito da imagem em destaque: gerado por Ideogram
A postagem A empresa controladora do ChatGPT, OpenAI, tem uma ferramenta “promissora” para detectar conteúdo de IA apareceu primeiro em ReadWrite.
