Ferramentas

Python

Utilizamos a versão 3.10.13 do Python para criação e execução dos pipelines.

Documentação: https://docs.python.org/pt-br/3.10/

Prefect

Utilizamos a versão 1.4.1 do Prefect para criação dos pipelines.

Documentação: https://docs-v1.prefect.io/api/latest/

DBT

Utilizamos a versão 1.7.3 do DBT para criação dos modelos.

Documentação: https://docs.getdbt.com/docs/introduction

BigQuery

Utilizamos o Biquery para armazenamento das tabelas intermediárias e materializadas.

Documentação: https://cloud.google.com/bigquery/docs/reference/rest

Google Cloud Storage

O GCS é utilizado para armazenas os dados brutos gerados nas pipelines de captura, principalmente.

Documentação: https://cloud.google.com/storage/docs?hl=pt-br

Infisical

O Infisical é utilizado para criação e armazenamento de tokens e segredos.

Documentação: https://infisical.com/docs/documentation/getting-started/introduction