OpenAI treinou um modelo baseado no GPT-4 para ajudar os humanos a apontar os erros da ferramenta
A OpenAI treinou um novo modelo, o CriticGPT, baseado no GPT-4 para encontrar erros em respostas geradas pelo ChatGPT.
De acordo com a empresa, quando as pessoas contam com a ajuda do CriticGPT para revisar os códigos gerados pelo ChatGPT, elas conseguem superar os possíveis problemas sem ajuda adicional em 60% das vezes
A série de modelos GPT-4 que alimenta o ChatGPT é corrigida através do que se chama “aprendizado de reforço a partir do feedback humano” (RLHF, na sigla em inglês), que significa que a plataforma melhora seu desempenho conforme os usuários, também chamados de treinadores de inteligência artificial, classificam as respostas dadas pelo ChatGPT e indicam possíveis erros.
A medida que o ChatGPT vai se aperfeiçoando, seus erros também vão ficando mais sutis e especializados, o que pode dificultar que os treinadores de IA percebam as imprecisões quando elas ocorrem. E é nisso em que o CriticGPT pode ajudar.
O próximo passo, segundo a empresa, é incorporar modelos semelhantes ao CriticGPT ao processo de RLHF, para que os feedbacks humanos também contem com o auxílio dos feedbacks da IA.
Embora as sugestões do CriticGPT nem sempre estejam corretas também, elas podem ajudar os treinadores de IA a detectar problemas que passariam despercebidos. Além disso, assim como o próprio modelo do GPT-4, o CriticGPT também vai se aperfeiçoando conforme mais usuários forem utilizando a ferramenta e dando feedbacks.
De acordo com a OpenAI, os testes entre os dois modelos revelaram que os apontamentos feitos pelo CriticGPT foram considerados melhores do que aqueles feitos pelo próprio ChatGPT em 63% das vezes. Além disso, a nova ferramenta também demonstrou menos alucinações — momentos nos quais a IA inventa algo que não é verdade e apresenta como se fosse.
Mesmo assim, o CriticGPT ainda possui algumas limitações e só pode ajudar até certo ponto de especialização. Se uma tarefa ou resposta for extremamente complexa, mesmo um especialista com a ajuda de um modelo pode não ser capaz de avaliá-la corretamente.