Hugging Face tem uma equipe de duas pessoas desenvolvendo modelos de IA semelhantes ao ChatGPT

Paulo Boaventura
71 Views
5 Min Read

A startup de IA Hugging Face oferece uma ampla gama de ferramentas de hospedagem e desenvolvimento de ciência de dados, incluindo um portal semelhante ao GitHub para repositórios de código de IA, modelos e conjuntos de dados, bem como painéis da web para demonstração de aplicativos baseados em IA.

Mas algumas das ferramentas mais impressionantes – e capazes – do Hugging Face atualmente vêm de uma equipe de duas pessoas formada em janeiro.

H4, como é chamado – “H4” é a abreviação de “útil, honesto, inofensivo e abraço” – tem como objetivo desenvolver ferramentas e “receitas” para permitir que a comunidade de IA construa chatbots com tecnologia de IA nos moldes do ChatGPT . O lançamento do ChatGPT foi o catalisador para a formação do H4, na verdade, de acordo com Lewis Tunstall, engenheiro de aprendizado de máquina da Hugging Face e um dos dois membros do H4.

“Quando o ChatGPT foi lançado pela OpenAI no final de 2022, começamos a pensar no que seria necessário para replicar seus recursos com bibliotecas e modelos de código aberto”, disse Tunstall ao TechCrunch em uma entrevista por e-mail. “O foco principal da pesquisa do H4 é em torno do alinhamento, que envolve amplamente ensinar aos LLMs como se comportar de acordo com o feedback dos humanos (ou mesmo de outras IAs).”

H4 está por trás de um número crescente de modelos de linguagem grande de código aberto, incluindo Zephyr-7B-α, uma versão aprimorada e centrada em bate-papo do modelo homônimo Mistral 7B lançado recentemente pela startup francesa de IA Mistral . O H4 também bifurcou o Falcon-40B, um modelo do Instituto de Inovação Tecnológica em Abu Dhabi – modificando o modelo para responder de forma mais útil às solicitações em linguagem natural.

Para treinar seus modelos, o H4 – como outras equipes de pesquisa da Hugging Face – conta com um cluster dedicado de mais de 1.000 GPUs Nvidia A100. Tunstall e seu outro colega de trabalho H4, Ed Beeching, estão baseados remotamente na Europa, mas recebem suporte de várias equipes internas da Hugging Face, entre elas a equipe de testes e avaliação de modelos.

“O pequeno tamanho do H4 é uma escolha deliberada, pois nos permite ser mais ágeis e nos adaptar a um cenário de pesquisa em constante mudança”, disse Beeching ao TechCrunch por e-mail. “Também temos diversas colaborações externas com grupos como LMSYS e LlamaIndex , com quem colaboramos em lançamentos conjuntos.”

Ultimamente, H4 tem investigado diferentes técnicas de alinhamento e construído ferramentas para testar até que ponto as técnicas propostas pela comunidade e pela indústria realmente funcionam. A equipe lançou este mês um manual contendo todo o código-fonte e conjuntos de dados que usaram para construir o Zephyr, e a H4 planeja atualizar o manual com o código de seus futuros modelos de IA à medida que forem lançados.

Perguntei se H4 sofreu alguma pressão dos superiores da Hugging Face para comercializar seu trabalho. Afinal, a empresa levantou centenas de milhões de dólares de um grupo de investidores com pedigree que inclui Salesforce, IBM, AMD, Google, Amazon Intel e Nvidia. A última rodada de financiamento da Hugging Face avaliou-a em US$ 4,5 bilhões – supostamente mais de 100 vezes a receita anualizada da empresa.

Tunstall disse que a H4 não monetiza diretamente suas ferramentas. Mas ele reconheceu que as ferramentas alimentam o Programa de Aceleração Especializada da Hugging Face, a oferta focada na empresa da Hugging Face que fornece orientação das equipes da Hugging Face para construir soluções personalizadas de IA.

Questionado se vê o H4 competindo com outras iniciativas de IA de código aberto, como EleutherAI e LAION , Beeching disse que esse não é o objetivo do H4. Em vez disso, disse ele, a intenção é “capacitar” a comunidade aberta de IA, liberando o código de treinamento e os conjuntos de dados associados aos modelos de chat do H4.

“Nosso trabalho não seria possível sem as muitas contribuições da comunidade”, disse Beeching.

Por techcrunch
Tradução por Paulo Boaventura

Share This Article
Leave a review

Leave a review

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *