LlamaIndex

O LlamaIndex é um framework para construir aplicações de busca e agentes sobre os seus dados. A Bayle se conecta pela classe OpenAILike.

Prompt para o seu agenteCopia as instruções de configuração desta página, para colar no seu agente de código.

Ver o prompt

Me ajude a configurar isto para usar a Bayle AI, uma API compatível com a OpenAI. Guia completo: https://docs.bayle.ai/pt-br/guides/sdks/llamaindex/

Objetivo: usar modelos da Bayle no meu código do LlamaIndex (https://www.llamaindex.ai) com o OpenAILike.

1. Instale o pacote se `python -c "from llama_index.llms.openai_like import OpenAILike"` falhar:
   pip install llama-index-llms-openai-like
2. Escolha um modelo e leia o tamanho real de contexto dele:
   curl -s "https://api.bayle.ai/models?type=text" \
     | jq -r '.data[] | "\(.id)  \(.model_spec.availableContextTokens)"'
   Me mostre a lista, deixe eu escolher e use esse id como MODEL_ID e o tamanho dele como context_window.
3. No meu código, monte o LLM assim:
   import os
   from llama_index.llms.openai_like import OpenAILike

   llm = OpenAILike(
       model="MODEL_ID",
       api_base="https://api.bayle.ai",
       api_key=os.environ["BAYLE_API_KEY"],
       is_chat_model=True,
       context_window=128000,
   )
   Troque context_window pelo tamanho real do modelo escolhido; o padrão de 3.900 tokens faz o LlamaIndex cortar muito mais do que precisa. `is_chat_model=True` é obrigatório, porque o padrão False chama o endpoint legado /completions, que a Bayle não serve. Se o modelo suportar function calling e eu usar agentes, acrescente também is_function_calling_model=True.
4. Verifique rodando:
   print(llm.complete("In one sentence, what is an embedding?"))
   e me mostre a saída.

Regras:
1. A base URL é https://api.bayle.ai exatamente como está escrita. Não acrescente nenhum caminho a ela.
2. Leia a key da variável de ambiente BAYLE_API_KEY. Nunca escreva a key em um arquivo que você criar, em um comando, em um commit nem no chat. Onde a ferramenta guarda a key na própria tela de configurações, me diga onde colar. Se BAYLE_API_KEY não estiver definida, pare e peça que eu crie uma key em https://chat.bayle.ai/developers e a exporte.
3. Pegue os ids de modelo só de GET https://api.bayle.ai/models (sem key). Nunca chute um.
4. Termine com uma requisição de teste de verdade, me mostre o resultado e liste os arquivos que você alterou.

Instalação

pip install llama-index-llms-openai-like

Veja a referência oficial do OpenAILike para a instalação e todas as opções.

Uso

Ainda não tem uma chave da Bayle?Obter chave de API

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="MODEL_ID",
    api_base="https://api.bayle.ai",
    api_key=os.environ["BAYLE_API_KEY"],
    is_chat_model=True,
    context_window=128000,
)

print(llm.complete("In one sentence, what is an embedding?"))

• is_chat_model=True é obrigatório. O padrão é False, que chama o endpoint legado /completions, que a Bayle não serve.
• Defina context_window com o tamanho real do modelo. O padrão é 3.900 tokens, o que faz o LlamaIndex cortar muito mais do que precisa. O tamanho está em model_spec.availableContextTokens no GET /models.
• Acrescente is_function_calling_model=True para um modelo que suporte ferramentas, para usá-lo em agentes.
• O parâmetro é api_base, não base_url.

Escolha um modelo

curl -s "https://api.bayle.ai/models?type=text" \
  | jq -r '.data[] | "\(.id)  \(.model_spec.availableContextTokens)"'