GRAM: caminho para tools de agentes | guia prático
GRAM como novo caminho para uso de ferramentas por agentes. Como isso muda o desenho de tools e o que observar ao ligar APIs como Stripe
Resposta direta
Agentes precisam de caminho explícito de tools; GRAM é uma proposta de trilha — avalie no seu stack antes de reescrever tudo. Então, isso seria conhecimento imprimido se você tivesse lido a documentação da Stripe API e navegado nisso, mas não temos isso nesse contexto, então por que não melhorar a descrição de ferramentas? Nós não temos limitações de renda no momento através do GRAM isso pode mudar, mas sim, então você tem uma tira de limitações.
O que o GRAM tenta resolver
É uma nova plataforma para iterar sobre uma API e criar ferramentas e servidores MCP. O Stripes API é vasto, tem mais de 600 ferramentas. E eu vou postar este documento OpenAPI e, esperamos, em cerca de 30 segundos, teremos um server MCP em funcionamento. Para criar um set de ferramentas desta ferramenta, eu vou em demo Stripe e este será o slug do meu server MCP.
Então, a definição do Stripe API já contém descrições para cada ponto final? Sim, então o time Stripe tem ido para longas para colocar descrições e, por algum motivo, várias outras coisas em suas descrições de OpenAPI. Os tool sets são o primitivo pelo qual geramos os servidores MCP. Neste caso, temos 615 tools e se eu for para este tool set, opa, desculpe, opa, de volta, de volta, de volta, podemos ver que é representado como um servidor MCP que tem instalações de instalação.
Então, isso é atualmente um server de MCP interno, o que significa que foi construído para equipes de Stripe usar internamente. E isso vai ser tipo, seu usuário vai ter que ter um token Stripe, por exemplo, e eles vão trazer isso e colocar no seu server e eles podem usar o server MCP para Stripe. Mas isso é só uma pequena explicação do processo de onboarding para criar um server MCP. Provavelmente, para a maioria dos modelos de linguagem, se não todos, você provavelmente vai ter erros de mensagem muito longos.
Diferença entre chat e caminho de tools
O que está acontecendo por trás das escadas é que quando você acessa o server, publicar as ferramentas para o LLM vai ser parte do contexto. Nós estamos usando isso como um exemplo para a jornada de onboarding e para educar as pessoas sobre a plataforma. Então agora temos uma ferramenta com apenas 5 ferramentas e essa ferramenta será muito melhor para interrogar cargas do que a 615. Uma coisa interessante que eu aprendi quando estava trabalhando com o Stripe API é que as quantidades monetárias são normalmente em senos mais baixos.
Então, isso seria conhecimento imprimido se você tivesse lido a documentação da Stripe API e navegado nisso, mas não temos isso nesse contexto, então por que não melhorar a descrição de ferramentas? Uma frase que não é ambíguas ou que é suficiente para o agente, o LLN, sempre entender e usar isso? Certamente, esse tipo de qualificador é muito útil e faz sentido, especialmente quando você considera que há um menor número de contexto com esse toolset. E certamente eu gostaria de talvez revisar isso, mas para o propósito dessa demo nós vamos aceitar que isso é uma descrição suficiente para a ferramenta.
Nós também vamos melhorar o título, então GetCharges é ótimo, mas nós estamos vendo GetCharges muito, então vamos mudar isso para ListCharges e distinguir isso de outras ferramentas. De novo, a ideia é um e estamos te dando uma experiência para rapidamente melhorar a qualidade destas e iterar sobre elas. Então você vai instalar o server do MCP ou usar o tool com seu framework favorito, escrever algumas evals para testar a performance dele para uma tarefa determinada e então voltar e melhorar estas se não estão adequadas para o propósito. Então, se o SpeakEasy é o tipo de middleman, o server do MCP de proxy entre o cliente e o account do Stripe, como você.
Leitura útil
Agentes precisam de caminho explícito de tools; GRAM é uma proposta de trilha — avalie no seu stack antes de reescrever tudo. Use o trecho acima como restrição, não como citação ornamental.
Encaixe com APIs de pagamento
E encaixar os limites de preço da API e coisas assim dos vários tool sets que você está adicionando de diferentes provedores? Essa API vai nos enviar um limite de preço de 429 acelerado para os credenciais dados e vamos respeitar o retry after header vai nos enviar. A maneira como você vai experimentar isso como usuário final ou agente é como latência, então você está esperando. Mas isso poderia mudar baseado na preferência da pessoa que está construindo esse toolset no server do MCP.
Nós não temos limitações de renda no momento através do GRAM isso pode mudar, mas sim, então você tem uma tira de limitações de renda, mas eu acho que nós provavelmente sobrecomitamos, sobre, desculpe, Gaila, mais capacidade, mais capacidade exatamente, certo, ok, desculpe, eu derrotei não, isso está perfeitamente bem Então, eu vou mudar rapidamente, porque esse é um ambiente de teste, eu não tenho credenciais de Stripe nesse ambiente. Então, você está construindo esses tool sets, o seu default é que eles são consumidos internamente dentro da sua organização. Como no GitHub, como você pode ver no CICD, onde você tem uma seção onde você adiciona credenciais. Então, se eu for para o ambiente Stripe, eu tenho alguns credenciais relevantes para algumas das coisas que eu vou fazer.
Algo interessante que eu quero mostrar para vocês sobre esse set de ferramentas é que ele tem ferramentas Stripe e ele tem o API de admin do Speakeasy e ele tem Hubspot, então esse é outro tipo de conceito muito interessante no Gram é que nós estamos deixando vocês se juntarem Um servidor MCP único pode representar várias fontes de APIs. E a ideia é que, novamente, essa coesão, que, tipo, essas se unem bem para resolver um problema de processo de negócio, e são distribuídas como um servidor MCP, como uma única unidade. Em uma empresa e você tem acesso a essas várias APIs, conecte-as, construa setas de ferramentas, itera, de fato, você terá potencialmente mais sucesso descrevendo as ferramentas para seus propósitos. Então, como Se eu sou um desses provedores de API, eu posso descrever meu ponto final no sentido mais generalizado, que é aplicável a todos.
Riscos de adotar cedo demais
Mas você tem controle total sobre essa descrição de ferramentas e você pode fazer isso específico para resolver um problema para sua empresa. So this playground is just strictly for like iterating and understanding the toolset. E eu vou encontrar a ID Stripe e vou conseguir a saúde do acount em termos de cargos e retornos para aquele cliente e entender a saúde desse acount. No momento em que colocamos isso em frente aos nossos usadores não técnicos, os prontos são geralmente tipo 10 palavras.
Então, a primeira coisa é procurar o CRM para esse negócio, obter a ID do Workspace e o Speakeasy, clicar na API do admin para obter os usuários do Workspace, e então localizar a ID do cliente do Stripe para um desses usuários, e listar as cargas e refunds. E ninguém vai escrever assim, mas o que encontramos e o que foi corroborado por pesquisas de OpenAI e outros é que os prompt estruturados são realmente poderosos. Então, se eu abrir o Cloud, porque eu quero te mostrar também, como este é um server de MCP, então. E então, a próxima vez, ele vai através da API de Stripe e.
É como se, apenas porque os LLMs foram treinados em documentação pública, isso não era conhecimento intrínseco, não estava na descrição de ferramentas e não estava no server do MCP em qualquer lugar. Mas ele encontrou o usuário, e então encontrou a ID do cliente, e então listou as cargas, e agora ele resumiu tudo para nós. Agora, este é um prompt que resultou em uma ferramenta que alimentou um plano mais elaborado para o LLM seguir e isso acabou de ir em autopiloto e resolver o problema do processo de negócio para nós. Sim, então ainda estamos como se este fosse um conceito nascentes, estamos jogando mais com isso, estamos tentando mudar o que o formato do prompt parece, talvez haja uma versão mais eficiente disso, então estamos constantemente iterando nisso e isso é igualmente útil para para usadores não técnicos e para agentes.
Critérios de experimento de 7 dias
O GRAM é nosso novo caminho para o uso de ferramentas agentes. É também baseado em sua API, mas não é o mesmo que o Code Generator. É uma nova plataforma para iterar sobre uma API e criar ferramentas e servidores MCP. Então, vou começar direto com a jornada de onboarding.
Eu tenho um projeto dentro da nossa organização aqui. O Stripes API é vasto, tem mais de 600 ferramentas. E eu vou postar este documento OpenAPI e, esperamos, em cerca de 30 segundos, teremos um server MCP em funcionamento. O que está acontecendo no fundo é que estamos pausando o documento OpenAPI.
Nós transformamos cada ponto final em uma ferramenta e vamos continuar. Para criar um set de ferramentas desta ferramenta, eu vou em demo Stripe e este será o slug do meu server MCP. Então, a definição do Stripe API já contém descrições para cada ponto final? Sim, então o time Stripe tem ido para longas para colocar descrições e, por algum motivo, várias outras coisas em suas descrições de OpenAPI.
Próximo passo
Escolha uma métrica (tempo, retries, conversão ou qualidade aceita) e rode 7 dias antes de escalar o padrão.