Ir para o conteúdo

Datapool

Ir para Datapool

O Datapool é um módulo do Orquestrador BotCity que possibilita gerenciar de forma eficiente o processamento de itens em lote.

Através do Datapool, você consegue ter controle e granularidade sobre a fila de itens que precisam ser processados, tornando-se um recurso essencial para automações que processam um grande volume de dados.

Captura de tela de visão geral de um Datapool. Na parte superior as informações gerais: Detalhes do datapool contendo seu status, quantidade de Itens Totais, tempo médio por item; Itens em Processamento contendo Itens Pendentes, Itens Processados e Itens concluidos; Casos de exceção contendo Itens com Erro, Itens em espera e Itens cancelados. Logo abaixo, barra de pesquisa, filtros e botões de Ações: Adicionar Itens, Importar CSV e ações em massa. Na parte inferior a seção de Itens do Datapool, exibindo uma tabela com os campos Entrada, Prioridade, Estado, Mensagem de finalização, Tipo de erro, Auto-retry, Tempo de processamento, Ciclo de vida de cada item.

Visão Geral

Principais Características

  • Processamento de Itens em Paralelo: Permite que diversas tarefas consumam paralelamente os itens de uma unica fila.
  • Reprocessamento Automático: Re-insere automaticamente na fila itens processados com erro, para serem reprocessados.
  • Padronização dos Dados: Schema Possibilidade da criação de uma estrutura pré-definida para os itens, definindo os campos esperados para cada item adicionado.
  • Disparo de Tarefas: Disparo automático de tarefas para execução, com base na criação de novos itens na fila.

Principais Benefícios

  • Abstração de Complexidade: Elimina a necessidade de implementar lógicas complexas no código, já que possui tratamentos nativos para o consumo concorrente e cenários de reprocessamento.
  • Gerenciamento Centralizado: Oferece uma gestão centralizada diretamente no Orquestrador BotCity, facilitando o controle e monitoramento, além de já estar integrado com os outros recursos da plataforma. Elimina a necessidade de depender de bases de dados externas e ferramentas auxiliares.
  • Integrações Simplificadas: Você pode ler de qualquer base e transformar os dados em itens no Datapool, adicionando-os à fila de processamento através das APIs, SDKs e arquivos .csv. Extraia facilmente os dados de processamento e integre com as suas plataformas de visualização de dados.

Casos de Uso

  • Processamento de Itens em Lote: Ideal para automações que precisam processar um grande volume de dados ou lotes de itens, como cadastros, atualizações e consultas.
  • Cenários de Produtor/Consumidor: Excelente alternativa para cenários onde uma automação gera a demanda criando novos itens no Datapool, e outra automação consome a fila e realiza o fluxo de processamento desses itens.