O ChatGPT consegue tirar a certificação CFA? Pesquisadores do JPMorgan fazem o teste

Bloomberg — Não se preocupe, Wall Street, o ChatGPT ainda está longe de passar na prova de certificação para analista financeiro e ameaçar os empregos de profissionais de investimento.

Uma equipe formada por pesquisadores do JPMorgan (JPM) e acadêmicos universitários testou se os chatbots ChatGPT e GPT-4 da OpenAI teriam uma chance de passar nos dois primeiros níveis da prova.

Normalmente, humanos levam quatro anos para concluir todos os três níveis da prova para certificação, que pode levar a salários mais altos e melhores oportunidades de emprego.

“Com base nas taxas de aprovação estimadas e nas médias informadas, concluímos que o ChatGPT provavelmente não seria capaz de passar nos Nível I e II do CFA em todas as configurações testadas”, escreveram os pesquisadores em um relatório de 11 páginas. “O GPT-4 teria uma chance decente de passar no Nível I e II do CFA, se solicitado.”

Entre os pesquisadores estão acadêmicos e seis funcionários do programa de Research de inteligência artificial do JPMorgan, incluindo Sameena Shah e Antony Papadimitriou.

O CFA Institute, que oferece as credenciais, passou anos reformulando seus testes para garantir que os profissionais em busca de vantagens em suas carreiras estejam familiarizados com as forças que impulsionam a automação. O instituto anunciou que adicionaria questões sobre inteligência artificial e métodos de análise de big data aos seus exames em 2017.

Chris Wiese, diretor administrativo para educação no CFA Institute, admitiu que modelos de IA terão a capacidade de responder corretamente a algumas questões do exame.

“Embora exames de múltipla escolha e questões dissertativas continuem a ser excelentes formas de avaliar o aprendizado e a compreensão em um ambiente supervisionado, o dia a dia em finanças não se apresenta apenas como uma série de perguntas curtas e independentes”, disse Wiese.

“É por isso que para se tornar um membro do CFA, também exigimos 4.000 horas de experiência de trabalho qualificante, um mínimo de duas referências, uma forte bússola moral e, em breve, a conclusão de módulos práticos.”

A cada poucos meses, milhares de candidatos prestam os três diferentes níveis do teste. Os candidatos geralmente passam mais de 300 horas estudando para cada nível do exame.

As taxas de aprovação têm diminuído nos últimos anos, com a taxa média para o primeiro nível da prova atingindo 37% em agosto, em comparação com a média de 43% em 2018.

Erros comuns

O Nível I do CFA apresenta 180 questões de múltipla escolha, enquanto o Nível II inclui estudos de caso e 88 questões de múltipla escolha. Ambos os grandes modelos de linguagem se esforçaram mais no Nível II, independentemente do tipo de pedido feito, segundo os pesquisadores.

No Nível I, tanto o ChatGPT quanto o GPT-4 tiveram melhor desempenho nas seções da prova voltadas para derivativos, investimentos alternativos, emissões corporativas, investimentos em ações e ética.

No entanto, ambos os chatbots tiveram um desempenho relativamente ruim nas seções focadas em relatórios financeiros e gestão de portfólio.

No Nível II, o ChatGPT teve dificuldades nas seções voltadas para investimentos alternativos e instrumentos de renda fixa em comparação com o GPT-4, enquanto o ChatGPT se destacou nas áreas relacionadas à gestão de portfólio e economia.

A maioria dos erros do ChatGPT foi baseada em conhecimento, enquanto o GPT-4 mais comumente cometeu erros de cálculo.

“O tipo de erro que o GPT-4 comete com mais frequência do que o ChatGPT são os erros de raciocínio”, descobriram os pesquisadores.

“Parece que, juntamente com a maior capacidade de raciocínio do GPT-4, ele tem uma chance maior de ‘convencer-se’ de linhas de raciocínio incorretas.”

Veja mais em Bloomberg.com

Leia também:

Este empresário ergueu um império imobiliário de US$ 25 bi. E agora cede o controle

SVB busca atrair de volta startups em LatAm após colapso, diz líder global

© 2023 Bloomberg L.P.