Custos de IA da OpenAI e da Anthropic levam startups a buscar modelos mais baratos

Startups como a Harvey, Abridge e Decagon, optaram por buscar modelos de IA de código aberto para economizar e obter mais controle sobre sua tecnologia, evitando dependência das gigantes do setor

A startup Harvey começou a adotar modelos de IA de código aberto, como o Kimi K3 da Moonshot AI.
Por Rebecca Torrence - Natasha Mascarenhas
PUBLICIDADE

Bloomberg — A Harvey, startup jurídica avaliada em US$ 15,6 bilhões, construiu seu negócio com base no treinamento de modelos de inteligência artificial (IA), como o GPT-4 da OpenAI, para realizar trabalhos especializados para advogados. Recentemente, porém, o aumento vertiginoso dos custos com inteligência artificial levou a empresa a repensar sua dependência dos gigantes da IA.

Após uma atualização realizada em março em seus agentes de IA, o uso pelos clientes da Harvey disparou, mas suas margens brutas caíram drasticamente — de cerca de 50% no início do ano para -50% em junho, segundo uma pessoa a par do assunto.

PUBLICIDADE

Agora, a startup juntou-se a um grupo cada vez maior de empresas de software que estão adotando IA de código aberto, incluindo alternativas cada vez mais capazes provenientes da China. Essas ofertas costumam ser mais baratas do que a tecnologia proprietária dos desenvolvedores de IA dos Estados Unidos e permitem que empresas como a Harvey criem modelos personalizados com seus próprios dados.

Investidores como a Sequoia Capital e a General Catalyst estão apoiando a tendência, que oferece às empresas uma maneira de economizar em um de seus maiores custos, ao mesmo tempo em que lhes concede mais controle sobre sua tecnologia — em vez de terceirizá-la para a OpenAI e a Anthropic.


Assine as newsletters da Bloomberg Línea e receba as notícias do dia em primeira mão no e-mail.

PUBLICIDADE

Esse impulso corre o risco de reduzir a receita das gigantes da IA, já que ambas se preparam para ofertas públicas iniciais altamente esperadas em um futuro próximo. E, enquanto o debate gira em torno da necessidade de moderar o avanço da IA de ponta, para algumas startups, isso também está se tornando uma proteção contra um futuro em que os modelos mais avançados possam ser desacelerados ou restringidos.

A Harvey lançou um modelo próprio em agosto, desenvolvido com base no Kimi K3 da chinesa Moonshot AI, que pode apresentar desempenho próximo ao das melhores ofertas da Anthropic por uma fração do custo. Esse lançamento, somado a outros ajustes no uso da IA, fez com que as margens brutas da Harvey voltassem a ser positivas, segundo pessoas a par dos esforços. A empresa não quis comentar sobre dados financeiros específicos para esta reportagem.

Da mesma forma, a startup de tecnologia da saúde Abridge anunciou recentemente que está desenvolvendo um modelo básico personalizado para ambientes clínicos, treinado com base nos modelos abertos da Nvidia.

PUBLICIDADE

Leia também: Avanço de agentes de IA abre nova frente de crescimento para cibersegurança, diz BofA

A startup de suporte ao cliente com IA, Decagon, afirmou que agora processa 80% das consultas por meio de seus próprios modelos. No setor de fintech, startups como a Ramp e a Rogo estão explorando o treinamento de seus próprios modelos pela primeira vez. Empresas de programação, como a Cursor — agora parte da SpaceX — e a Cognition, avaliada em US$ 48 bilhões, foram algumas das primeiras a lançar modelos sob medida para aplicações de IA.

Embora a criação de modelos anteriormente fosse muito cara para a Ramp, a empresa agora considera esses esforços agora, após levantar US$ 750 milhões em junho, pois os sistemas de peso aberto melhoraram de forma tão drástica, afirmou o co-CEO da startup, Karim Atiyeh. “Isso não fazia absolutamente nenhum sentido há um ano. Agora está começando a fazer muito mais sentido.”

PUBLICIDADE

À medida que os custos de computação aumentam, “é uma imprudência total não pensar nisso e não otimizar para essa realidade”, afirmou Atiyeh, cuja empresa está atualmente em negociações para atrair mais capital.

No entanto, nem todos os investidores estão convencidos. Matt Kraning, sócio da Menlo Ventures — empresa que apoia a Anthropic — argumentou que a construção de modelos personalizados não faz sentido para todas as empresas, uma vez que envolve a necessidade de talentos especializados e custos iniciais mais elevados. Para algumas, disse ele, trata-se meramente de uma tática de marketing.

“Ter ou não um modelo próprio é uma pergunta totalmente equivocada”, disse ele. “Na maioria dos casos, tende a ser apenas uma fachada.”

Leia também: Por que reunião de rei Charles com líderes de IA pode incentivar regulação no setor

O debate sobre o open-weight

Até o final do ano passado, o desempenho das aplicações de IA dependia principalmente dos modelos subjacentes a elas, afirmou o presidente e cofundador da Harvey, Gabe Pereyra. O treinamento desses modelos básicos era um esforço extremamente caro, geralmente deixado a cargo dos maiores laboratórios de IA.

Quaisquer esforços para treinar modelos personalizados não eram tão significativos em comparação, disse ele, tornando importante que empresas como a Harvey pagassem pelas melhores opções básicas.

No entanto, os custos crescentes dos modelos subjacentes estavam pressionando algumas dessas empresas. Até o momento, neste ano, a Harvey registrou um aumento de vinte vezes no uso de tokens de IA, segundo a empresa — um pico que seus fundadores sabiam que não seria sustentável se continuassem a depender dos modelos de custo mais elevado da OpenAI e da Anthropic.

Embora a Anthropic e a OpenAI tenham lançado, mais recentemente, modelos de menor custo em resposta às preocupações dos clientes com os custos da IA, ambas agora cobram das empresas pelo uso de seus modelos além das taxas básicas de assinatura — uma mudança que penalizou as tentativas de “tokenmaxxing”.

Leia também: Riscos da IA abrem divisão entre CEOs sobre desacelerar tecnologia ou reforçar controles

A Uber, por exemplo, esgotou seu orçamento anual para IA já em abril, após incentivar seus engenheiros a maximizar o uso do Claude Code, da Anthropic.

Claude Code: embora as grandes empresas tenham introduzido modelos de custo mais baixo, agora cobram taxas adicionais para o uso.

“Se a empresa não otimizar seus custos por meio do ajuste fino de seu próprio modelo, ela, por definição, não é eficiente”, afirmou a Dra. Lan Xuezhao, fundadora e sócia-gerente da empresa de capital de risco Basis Set, com sede em São Francisco.

Ela acrescentou: “Não creio que a empresa seja passível de financiamento” se não buscar construir modelos para uso próprio.

A Anthropic e a OpenAI também avançaram de forma mais assertiva no território das startups. Este ano, ambas têm contratado de forma agressiva, lançando plug-ins e iniciando programas-piloto em diversos setores, incluindo jurídico, financeiro e de saúde.

Leia também: Efeito IA vai além da tecnologia e impulsiona lucro em todos os setores do S&P 500

Em um fórum recente de investidores nos escritórios da Anthropic, os participantes discutiram a ascensão de startups que desenvolvem seus próprios modelos. A Anthropic mencionou empresas como a Rogo e a startup de saúde OpenEvidence em um slide sobre como “aproveitar a curva” de valor, de acordo com uma fonte a par do assunto.

A empresa também fez referência ao trabalho interno de Harvey com IA, lembrando que a startup ainda precisa do Claude Opus, um dos modelos mais avançados da Anthropic, para suas tarefas mais complexas.

Ainda assim, algumas startups se preocupam com o que poderia acontecer se esses criadores de modelos cortassem seu acesso. Apenas uma semana após a SpaceX ter concluído a aquisição da Cursor, a OpenAI anunciou que estava suspendendo o acesso da startup de programação aos seus modelos, citando casos anteriores em que empresas de Elon Musk violaram os termos de serviço da OpenAI.

O open-weight oferece outra opção. Os modelos fechados da OpenAI e da Anthropic mantêm seus parâmetros internos sob sigilo, mas os de open-weight divulgam esses parâmetros para que desenvolvedores externos possam baixá-los e modificá-los em um processo conhecido como pós-treinamento.

Algumas, como a Moonshot, desenvolvedora do Kimi K3, chegam a disponibilizar seus próprios engenheiros para ajudar os clientes a ajustar seus modelos prontos para uso, transformando-os em modelos internos personalizados, de acordo com duas pessoas a par das discussões.

Leia também: Bill Gates defende a equidade na IA e fundação deve doar US$ 1 bi para melhorar acesso

Desafios subjacentes

A transição para modelos open-weight apresenta alguns pontos delicados.

Preocupações com a privacidade de dados e riscos à cibersegurança levaram os legisladores dos EUA a avaliar várias restrições aos modelos open-weight. Tanto agências de segurança quanto laboratórios dos EUA acusaram a Moonshot e a DeepSeek, outra desenvolvedora chinesa de IA, de “destilar” a IA dos laboratórios — processo que consiste em treinar um novo modelo de menor custo por meio da consulta contínua a um modelo “professor” mais antigo.

Os esforços de treinamento da Rogo, que não haviam sido divulgados anteriormente, exigiram discussões com alguns de seus grandes clientes que demonstravam hesitação em relação aos modelos chineses, segundo o chefe de produto da startup, Strib Walker.

Brendan Foody, CEO da Mercor, provedora de dados de IA, afirmou que as dúvidas de seus clientes sobre os modelos chineses geralmente decorrem de preocupações com o uso dos dados, e não de possíveis medidas regulatórias restritivas.

Alguns desenvolvedores argumentam, no entanto, que o processo de treinamento para modelos personalizados pode ser tão extenso que os parâmetros do modelo acabam não se parecendo em nada com o que eram no início. “Eles realmente passam de um modelo de código aberto para um modelo da Rogo”, afirmou Walker, da Rogo.

Além disso, o pós-treinamento não é exatamente uma tarefa fácil. Kraning, da Menlo, destacou o mercado competitivo por talentos especializados em IA, com engenheiros que podem exigir salários anuais na casa dos milhões de dólares e que poderiam ser facilmente recrutados por empresas de ponta como a OpenAI e a Anthropic.

Leia também: ‘Apocalipse da IA’? Pesadelo da China é a tecnologia gerar caos social de imediato

Além disso, disse ele, as empresas que realizam o ajuste fino de seus próprios modelos precisam de grandes volumes de dados proprietários; caso contrário, devem estar aptas e dispostas a pagar por esses dados.

A Harvey, que não pode acessar os dados jurídicos confidenciais de seus clientes para treinar seus modelos, adquire essa expertise da Mercor.

Nem todas as empresas que tentam construir seus próprios modelos consideraram que o esforço vale a pena.

A Salespeak, uma empresa que tem evitado, em grande parte, o capital de risco, anunciou anteriormente planos para construir seus próprios modelos de linguagem de grande porte. Por fim, ela abandonou a iniciativa após alguns meses de tentativa e erro.

Segundo o cofundador e CEO Omer Gotlieb, a empresa não identificou “grandes vantagens” em relação ao uso de modelos de linguagem de grande porte já disponíveis no mercado, como os oferecidos pela Anthropic e pela OpenAI.

Por exemplo, Andrew Dai, CEO da Elorian, que está desenvolvendo modelos de IA visual, afirmou que a viabilidade econômica de operar modelos de código aberto nem sempre faz sentido. Baixar modelos de código aberto e gerenciar a infraestrutura de computadores para hospedá-los pode ser caro. Para algumas empresas incipientes com menor tráfego, como a dele, pode ser mais barato simplesmente pagar por um modelo fechado e gastar de acordo com o uso, disse ele.

As startups que desenvolvem seus próprios modelos geralmente não acreditam que possam deixar de usar totalmente a tecnologia da Anthropic ou da OpenAI, mesmo quando esses laboratórios aspiram competir diretamente com essas startups.

Logan Bartlett, diretor-gerente da Redpoint Ventures — que investiu na Anthropic, na Abridge e na Ramp — espera apenas que a tendência de reduzir a dependência dos modelos da Anthropic venha a crescer. Ainda assim, afirma ele, as startups continuarão a utilizar a melhor inteligência disponível, mesmo que isso lhes custe. “Elas não vão cortar o próprio nariz para prejudicar o rosto”, afirmou.

Veja mais em Bloomberg.com

Leia também

Super El Niño chega e ameaça abastecimento de alimentos e energia no Brasil e na região