Como identificar problemas na Importação de Base de Conhecimento pelo Airflow

Visão Geral

Este documento tem como finalidade auxiliar na identificação de problemas ocasionados durante o processo de importação de base de conhecimento.

Sobre o Apache Airflow

O Apache Airflow é uma plataforma de orquestração de workflows usada para criar, agendar e monitorar pipelines de dados ou processos automatizados. Nele podemos definir fluxos de trabalho como código, organizando tarefas em estruturas chamadas DAGs (Directed Acyclic Graphs). Ele gerencia a execução dessas tarefas com base em dependências, agendamento e regras configuráveis.

Na tela inicial é possivel ver todas as dags e suas execuções:

Em casos de manutenção e erro de execução é possível saber quais DAG’s tem dependencias: no menu Browse >> DAG Dependencies

Acessando Logs

Para verificar os logs nos durante o processo de importação de base de conhecimento clique sobre o nome da DAG etl_knowledge_customer.

Quando a tela da dag for exibida, selecione a ultima execução, como mostra na figura abaixo na primeira seta a esquerda.

Nesta tela você consegue ver o status da dag, horários de execuções e o que chegou da api (que recebe do importador de base de conhecimento)

Se você selecionar o menu Graph, uma tela com os operadores abrirá como mostra abaixo:

Depois disto basta selecionar o operador desejado que pretende ver o log dele e clicar no menu Logs. (Neste caso veremos o log de sucesso para saber quantos contextos foram interpretados.

Sucesso na importação da base de conhecimento

Quando o arquivo é importado corretamente, o nome do index onde está sendo salvo o contexto, a quantidade de contextos identificados e outros detalhes, são exibidos ao final da mensagem da mensagem de log pela dag etl_knowledge_customer, conforme mostra na figura abaixo:

E assim também você pode repetir o processo e entrar na dag ia_rag_embeddings_elastic para saber a quantidade de vetores gerados e o nome do index da base de conhecimento que foi gerada:

Casos de Erro:

Para selecionar os últimos erros que aconteceram em uma dag existem filtros na parte superior que podem ajudar:

Estes são exemplos de erros recorrentes mais comuns de acontecerem:

• Arquivo sem permissão:

• Arquivo sem extensão:

E outros erros comuns são: Erro para ler os dados do arquivos e/ou não foi possível identificar as quebras e/ou o contexto do arquivo e quando o arquivo excede número de linhas que é de 10.000 para contextos embeddings.