Linhagem no Unity Catalog para o reporte regulatório: o que o Databricks registra sozinho e o que a instituição ainda precisa provar
A linhagem do Unity Catalog registra automaticamente de quais tabelas e colunas veio cada dado no Databricks, mas tem limites documentados que importam para quem precisa defender um número diante de auditoria ou supervisão. Renomear uma tabela ou coluna não preserva a linhagem, funções definidas pelo usuário escondem o mapeamento entre colunas e as tabelas de sistema de linhagem guardam, por padrão, uma janela móvel de 395 dias. Para o reporte regulatório de bancos, seguradoras e cooperativas, a linhagem automática é a base, e a instituição ainda precisa somar regras de nomenclatura, de retenção e de versionamento da lógica para reconstruir um número reportado no passado.
A pergunta que o supervisor faz é diferente da pergunta que a linhagem responde
A linhagem responde de onde vem uma coluna hoje. A auditoria e o supervisor costumam perguntar outra coisa: de onde veio o número que foi reportado em determinada data, com a lógica que estava em vigor naquele momento. A diferença parece sutil até o primeiro questionamento sobre um indicador antigo, quando a tabela já foi renomeada, a regra de cálculo mudou e o registro de linhagem saiu da janela de retenção.
A Resolução CMN 4.557/2017, que trata da gestão de riscos das instituições dos segmentos S1 a S4, pede no artigo 7º, parágrafo 2º, sistemas de informação adequados para avaliar, mensurar e reportar riscos, e no inciso X do mesmo artigo, relatórios gerenciais tempestivos para a diretoria, o comitê de riscos e o conselho. O parágrafo 3º, inciso III, exige que o reporte explicite as deficiências ou limitações das estimativas de risco. A Resolução CMN 5.274/2025, que alterou a 4.893, passou a exigir trilhas de auditoria do processamento fim a fim dos dados.
Nenhuma das duas fala em linhagem pelo nome, mas ambas pressupõem que a instituição consiga mostrar o caminho do dado.
O conceito geral de rastreabilidade para decisões está no artigo “De onde veio esse número? Rastreabilidade de dados para decisões mais confiáveis”, já publicado no blog. Aqui o foco é o que a plataforma registra e onde ela para.
Tese da CSP Tech: a linhagem automática do Unity Catalog é necessária e insuficiente para o reporte regulatório. Ela mostra o caminho atual do dado, e o regulador pergunta pelo caminho de um número em uma data passada. As lacunas entre as duas perguntas estão documentadas pela própria Databricks, e fechá-las depende de decisões de engenharia e de retenção que a instituição precisa tomar antes do primeiro questionamento.
O que a linhagem do Unity Catalog captura
Segundo a documentação da Databricks, atualizada em 4 de novembro de 2026, a linhagem do Unity Catalog cobre tabelas, views, colunas, versões de modelos de machine learning, caminhos de arquivos e, em nível de tabela, funções definidas pelo usuário. Também registra os notebooks e jobs que transformam os dados e os dashboards que consomem os resultados. Ativos externos, como Power BI e Tableau, entram na linhagem quando registrados como metadados externos no catálogo, o que permite levar o caminho até o relatório que a diretoria lê.
No Catalog Explorer, a linhagem capturada a partir de 1º de setembro de 2024 fica disponível por tempo indeterminado. As tabelas de sistema de linhagem, system.access.table_lineage e system.access.column_lineage, registram cada evento de leitura e escrita, com quem executou e quando, e mantêm uma janela móvel de 395 dias por padrão.
Onde a linhagem para
Renomear apaga o caminho. A documentação informa que nomes de catálogos, schemas, tabelas, views ou colunas renomeados não preservam a linhagem. Em uma camada de reporte que passa por refatoração, o histórico de um indicador pode se perder com uma mudança de nome.
Funções escondem colunas. Funções definidas pelo usuário podem ocultar o mapeamento entre colunas de origem e de destino, e para elas há só linhagem em nível de tabela. Se a regra de cálculo de um indicador está dentro de uma função, a linhagem mostra as tabelas envolvidas, mas não qual coluna gerou o número.
Caminhos de arquivo reduzem o detalhe. Quando a origem ou o destino é referenciado por caminho, e não por nome de tabela, o Catalog Explorer e a API não mostram linhagem de colunas. A tabela de sistema de colunas registra esses casos com o caminho de origem ou de destino.
A janela das tabelas de sistema é finita. Os 395 dias padrão das tabelas de sistema podem ser menores do que o prazo em que a instituição precisa responder sobre um reporte. O Catalog Explorer mantém a linhagem por mais tempo, mas sem o detalhe de cada evento de execução.
O que veio antes não existe. Linhagem anterior a 1º de setembro de 2024 não está disponível, e alguns objetos, como RDDs e global temp views, não são capturados.
O que a instituição precisa somar
Regras de nomenclatura e de mudança na camada de reporte
Como a renomeação quebra a linhagem, as tabelas e colunas que alimentam reportes regulatórios precisam de uma regra explícita: em vez de renomear, criar o novo objeto, migrar os consumidores e manter o antigo identificado como descontinuado até o fim do prazo de guarda. A regra vale para a camada de reporte, e não precisa engessar as camadas de exploração.
Regras de cálculo fora de funções opacas
Indicadores que vão para o supervisor ganham rastreabilidade quando a regra de cálculo fica em transformações SQL legíveis pela linhagem de colunas. Quando uma função é inevitável, ela precisa estar documentada no catálogo, com a lista de colunas de entrada, para que a auditoria não dependa de ler código.
Retenção da linhagem alinhada ao prazo da instituição
Se o prazo em que a instituição precisa responder sobre um reporte passa de 395 dias, a linhagem precisa ser copiada periodicamente das tabelas de sistema para uma tabela própria, com retenção definida pelas áreas de risco e compliance. A cópia é uma rotina simples de engenharia, mas precisa existir antes de o registro sair da janela.
A lógica da data do reporte
Linhagem mostra o caminho, não a regra de cálculo que estava em vigor. Para reconstruir um número antigo, a instituição precisa ligar cada execução de reporte à versão do código que a produziu, com o código dos jobs e notebooks versionado e a execução registrada. Sem esse vínculo, a linhagem aponta as tabelas certas e a lógica errada.
A camada regulatória, com a ressalva devida
As normas citadas exigem sistemas de informação adequados, relatórios tempestivos, transparência sobre limitações e trilhas de auditoria, sem prescrever ferramenta ou forma de implementação. A leitura de que a linhagem precisa ser complementada por nomenclatura, retenção e versionamento é uma interpretação editorial da CSP Tech sobre o que costuma ser pedido na prática. O prazo de retenção e o escopo do que precisa ser reconstruível devem ser definidos pelas áreas de risco, compliance e auditoria da instituição. A Resolução 4.557 não se aplica a instituições de pagamento e administradoras de consórcio, que seguem regulamentação própria do Banco Central.
Quando esse cuidado é desproporcional
Se o lakehouse ainda não alimenta nenhum reporte regulatório ou gerencial de risco e serve apenas a análises exploratórias, a linhagem automática basta por enquanto. O mesmo vale quando o reporte regulatório sai de outro sistema e o Databricks só recebe uma cópia para análise. Nesses casos, vale adotar a regra de nomenclatura desde já, porque ela custa pouco no início e muito depois, e deixar a retenção estendida para quando o lakehouse entrar no fluxo do reporte.
Perguntas frequentes
O que a linhagem do Unity Catalog registra?
Tabelas, views, colunas, versões de modelos de machine learning, caminhos de arquivos e funções definidas pelo usuário em nível de tabela, além dos notebooks, jobs e dashboards envolvidos. Ativos externos, como Power BI e Tableau, entram quando registrados como metadados externos, segundo a documentação da Databricks atualizada em 4 de novembro de 2026.
Por quanto tempo o Databricks guarda a linhagem?
No Catalog Explorer, a linhagem capturada a partir de 1º de setembro de 2024 fica disponível por tempo indeterminado. As tabelas de sistema system.access.table_lineage e system.access.column_lineage mantêm uma janela móvel de 395 dias por padrão.
Renomear uma tabela no Databricks apaga a linhagem?
Sim. Segundo a documentação da Databricks, nomes de catálogos, schemas, tabelas, views ou colunas renomeados não preservam a linhagem. Em camadas que alimentam reportes, a prática mais segura é criar o novo objeto e descontinuar o antigo, em vez de renomear.
A linhagem do Unity Catalog basta para a auditoria de um reporte regulatório?
Ela é a base, mas não cobre tudo. Funções definidas pelo usuário escondem a linhagem de colunas, a retenção das tabelas de sistema é finita e a linhagem não registra qual versão da regra de cálculo estava em vigor. A instituição precisa somar regras de nomenclatura, retenção própria e versionamento do código.
Próximo passo
Faça um teste de dez minutos: escolha um indicador do último relatório de risco enviado à diretoria, abra a linhagem dele no Catalog Explorer e verifique se o caminho chega à origem com detalhe de coluna, se alguma tabela no caminho foi renomeada e se a regra de cálculo está em uma função. Se o caminho para em uma função ou some antes da origem, o número ainda não se defende sozinho. Solicite um diagnóstico de dados da CSP Tech para mapear essas lacunas antes que a auditoria peça o caminho.
Leituras relacionadas
Rastreabilidade e governança de dados
- “De onde veio esse número”? Rastreabilidade de dados para decisões mais confiáveis
- Data lake ou pântano de dados: por que a IA não fracassa por falta de dado, e sim por não achar o dado certo
- MDM no Databricks: como construir gestão de dados mestres no Lakehouse (sem comprar mais uma plataforma)
- Do Jira ao Lakehouse: as 4 fases de maturidade de dados que definem de qual consultoria você precisa agora
Regulação no setor financeiro
- Portfólio de projetos regulatórios no Jira: quando o prazo vem do Banco Central, e não do negócio
- Circuit breaker na B3: o que a interrupção de 26 de outubro exige da TI de bancos, corretoras e instituições de pagamento
- Por que 40% dos projetos de agentes de IA serão cancelados até 2027 (e o que a fundação de dados tem a ver com isso)
Autor: Guilherme Matos, estrategista de conteúdo e IA, certificado HubSpot, Google, Anthropic e Semrush. Revisão técnica por especialistas Atlassian e de dados da CSP Tech (Atlassian Gold Partner, parceira Databricks, Microsoft Gold Partner, participante do Anthropic Partner Network, 38 anos de mercado, produto próprio Power BI for Jira no Atlassian Marketplace).
Fontes (acesso em 13/11/2026): Databricks Documentation, “Lineage in Unity Catalog” (atualizada em 04/11/2026: escopo, retenção e limitações) e “Lineage system tables reference” (janela móvel de 395 dias; atualizada em 04/11/2026). Resolução CMN nº 4.557/2017, arts. 1º, 2º e 7º (§§ 2º e 3º, inciso X), texto consolidado do Banco Central. Resolução CMN nº 5.274, de 18/12/2025, que altera a Resolução CMN 4.893/2021 (trilhas de auditoria do processamento fim a fim). As práticas de nomenclatura, retenção e versionamento e a leitura das normas são formulação editorial da CSP Tech. Este conteúdo não constitui aconselhamento jurídico ou regulatório.


Jira em sistema cooperativo de crédito: uma instância por cooperativa ou uma para o sistema inteiro?








