As capacidades dos chatbots baseados em LLMs (Grandes Modelos de Linguagem) têm avançado a cada mês, com melhorias frequentemente medidas por benchmarks como MMLU, HumanEval e MATH. Vemos resultados impressionantes em modelos como Sonnet 3.5 e GPT-4o. No entanto, à medida que essas métricas se aproximam da saturação, surge uma questão crucial: a experiência do usuário está crescendo proporcionalmente a esses resultados? Se vislumbramos um futuro de colaboração humano-IA em vez de substituição, as abordagens atuais para medir sistemas de diálogo, muitas vezes não interativas, podem ser insuficientes para capturar o verdadeiro valor.
Por Que o Diálogo com Propósito é Crucial?
Diálogo com propósito refere-se a uma conversa multirrodadas entre usuário e chatbot, focada em um objetivo ou intenção específica. Esse objetivo pode variar desde a meta genérica de ser "inofensivo e útil" até papéis mais especializados, como um "agente de planejamento de viagens", um "psicoterapeuta" ou um "bot de atendimento ao cliente".
O planejamento de viagens é um exemplo ilustrativo e simples. As preferências individuais, as de companheiros de viagem e a complexidade das situações do mundo real tornam a transmissão de todas as informações em uma única interação inviável e custosa. No entanto, se múltiplas trocas de informação são permitidas, apenas os dados mais importantes são seletivamente comunicados. A teoria da negociação oferece uma analogia: a barganha iterativa gera resultados superiores a uma oferta de "pegar ou largar".
Detalhes Técnicos: Compartilhar informações é apenas um aspecto do diálogo. Nas palavras de Terry Winograd: "Todo uso da linguagem pode ser pensado como uma forma de ativar procedimentos dentro do ouvinte." Podemos encarar cada enunciado como uma ação deliberada de uma parte para alterar o modelo de mundo da outra. E se ambas as partes tiverem objetivos mais complexos, talvez até ocultos? Dessa forma, o diálogo com propósito nos oferece uma maneira de formular interações humano-IA como um jogo colaborativo, onde o objetivo do chatbot é ajudar os humanos a atingir certas metas.
Impacto na Programação e Desenvolvimento
Embora possa parecer uma complexidade desnecessária, reservada apenas para acadêmicos, o diálogo com propósito pode ser benéfico até mesmo para as direções de pesquisa mais pragmáticas e orientadas a produtos, como a geração de código. Os benchmarks de codificação existentes medem o desempenho principalmente em um cenário de geração de uma única passagem. Contudo, para que a IA automatize a resolução de problemas comuns do GitHub (como em SWE-bench), é improvável que isso seja alcançado por uma única ação.
A IA precisa se comunicar de forma iterativa com engenheiros de software humanos para garantir que compreende os requisitos corretos, solicitar documentação e dados ausentes e até mesmo pedir ajuda humana quando necessário. De forma semelhante ao pair programming (programação em par), essa abordagem pode reduzir os defeitos de código sem o ônus de aumentar as horas de trabalho.
Além disso, com a introdução da alternância de turnos, muitas novas possibilidades podem ser desbloqueadas. À medida que as interações se tornam de longo prazo e a memória é construída, o chatbot pode atualizar gradualmente os perfis dos usuários e adaptar-se às suas preferências. Imagine um assistente pessoal (como IVA da NVIDIA, ou a Siri da Apple) que, através da interação diária, aprende suas preferências e intenções. Ele pode ler automaticamente suas fontes de novas informações (Twitter, ArXiv, Slack, NYT) e fornecer um resumo das notícias da manhã de acordo com seus interesses. Pode rascunhar e-mails para você e continuar aprimorando-se ao aprender com suas edições.
Em resumo, interações significativas entre pessoas raramente começam com estranhos completos e terminam em uma única troca. Os humanos interagem naturalmente uns com os outros por meio de diálogos multirrodadas e se adaptam de acordo ao longo da conversa. No entanto, isso não parece exatamente o oposto de prever o próximo token, que é a pedra angular dos LLMs modernos? Abaixo, vamos examinar a evolução dos sistemas de diálogo.
A Evolução dos Sistemas de Diálogo: Do Script aos LLMs
Vamos voltar aos anos 1970, quando Roger Schank introduziu seu "script de restaurante" como um tipo de sistema de diálogo [1]. Esse script dividia a experiência típica de um restaurante em etapas como entrar, pedir, comer e pagar, cada uma com falas específicas roteirizadas. Naquela época, cada peça de diálogo nesses cenários era cuidadosamente planejada, permitindo que os sistemas de IA imitassem conversas realistas.
Exemplos Pioneiros: ELIZA, um simulador de psicoterapeuta rogeriano, e PARRY, um sistema que imitava um indivíduo paranoico, foram outros sistemas de diálogo precoces, atuando como precursores até o advento do aprendizado de máquina.
Compare essa abordagem com os sistemas de diálogo baseados em LLMs de hoje. Enquanto os primeiros dependiam de scripts rígidos, os LLMs atuais prometem uma fluidez e capacidade de generalização sem precedentes, mas ainda precisam evoluir para verdadeiramente abraçar o conceito de diálogo com propósito e colaboração iterativa. A busca por um sentido de propósito nos chatbots de IA é o próximo grande salto para transformar a interação humano-IA em uma parceria verdadeiramente eficaz e dinâmica.