Context.ai quer mesclar sensibilidades analíticas de produtos com LLMs

Desde o lançamento do ChatGPT no final do ano passado, temos visto empresas desenvolvendo ferramentas generativas de IA para ajudar os clientes a interagir com seus produtos e serviços de uma forma mais natural. No entanto, em muitos casos, esses fornecedores não têm ideia do desempenho dos grandes modelos de linguagem subjacentes ou da qualidade das respostas.

Context.ai foi lançado no início deste ano para ajudar as empresas a entender melhor como os usuários estão interagindo com seus LLMs. Hoje, a empresa anunciou um investimento inicial de US$ 3,5 milhões para desenvolver totalmente a ideia.

O CEO Henry Scott-Green e seu cofundador, CTO Alex Gamble, passaram vários anos trabalhando no Google: Scott-Green em produtos e Gamble como engenheiro de software. Juntos, eles reconheceram a necessidade de um serviço que mede o desempenho desses modelos e havia muito poucas ferramentas disponíveis para ajudar.

“Conversamos com centenas de desenvolvedores que estão construindo LLMs e eles têm um conjunto realmente consistente de problemas. Esses problemas são que eles não entendem como as pessoas estão usando seu modelo e não entendem o desempenho de seu modelo. A frase que sempre ouço é que ‘meu modelo é uma caixa preta’”, disse Scott-Green ao TechCrunch.

Em muitos aspectos, não é diferente de ferramentas de análise de produto, como Amplitude ou Mixpanel, que medem como os usuários estão interagindo com a interface de um produto, como onde clicam ou quanto tempo permanecem em uma página. No caso da Context, entretanto, trata-se de investigar os dados gerados pelo LLM e descobrir se ele está produzindo conteúdo realmente útil que ajude os usuários a responder às perguntas dos clientes. O objetivo final é construir um modelo mais eficaz.

A forma como funciona é que os clientes compartilham transcrições de bate-papo com Context por meio de uma API. Em seguida, analisa as informações usando processamento de linguagem natural (PNL). O software agrupa e marca as conversas com base no tópico e, em seguida, analisa cada conversa para determinar, a partir dos sinais disponíveis, se o cliente ficou satisfeito com a resposta.

Depois de analisar o texto das transcrições do chat, Context.ai fornece uma análise como esta.Créditos da imagem:Contexto.ai

“Acreditamos que há uma grande mudança acontecendo [com o surgimento dos LLMs] e que um grande número dessas experiências de chat será construído ao longo dos próximos anos. E nesse novo mundo, onde há uma enorme quantidade de interfaces textuais com as quais os usuários interagem por meio de texto, em vez de interfaces gráficas de usuário, há necessidade de um conjunto diferente de ferramentas”, disse ele.

Eles começaram construindo um protótipo inicial e o compartilharam com os primeiros clientes e parceiros de design, e têm iterado para melhorar e refinar o produto desde então. Scott-Green indica que é um processo contínuo, mas tem gerado muito interesse e tem clientes pagantes.

É importante observar para aqueles preocupados com segurança e privacidade que o Context remove PII na ingestão. Ele não usa o conteúdo para construção de modelos ou para fins de marketing e mantém o conteúdo por no máximo 180 dias, após os quais ele é excluído, de acordo com Scott-Green.

A empresa é pequena neste momento, com seis funcionários, mas ele vê um futuro com uma organização em crescimento e acredita que nunca é cedo para pensar em construir uma empresa diversificada.

“É obviamente um desafio que o ecossistema de startups tem, e o ecossistema tecnológico em geral, quando se trata de construir equipes representativas, diversas e inclusivas. É algo em que ambos acreditamos fortemente e, mais importante, acho que é algo em que ambos estamos agindo também e realmente nos esforçando para garantir que tenhamos uma diversidade representativa inclusiva [em nossa base de funcionários]”, disse ele.

O investimento de hoje foi co-liderado pela GV (braço de risco do Google) e pela Theory Ventures.