Databricks Lakehouse e IA generativa: como consolidar o dado antes de gastar em modelos (e onde Claude roda dentro dessa arquitetura)

Guilherme Matos • July 9, 2026

Antes de comprar mais uma ferramenta de IA, vale consolidar dado analítico e operacional numa camada só. Veja como o Databricks Lakehouse resolve isso e como modelos Claude rodam dentro dessa arquitetura com governança unificada.

Databricks Lakehouse é uma plataforma unificada que combina, em uma única camada, o armazenamento de dado bruto de um data lake e a estrutura analítica de um data warehouse, governada por um catálogo único (Unity Catalog).


Segundo a documentação oficial da Databricks, essa unificação existe justamente para eliminar as cópias, os pipelines redundantes e a governança fragmentada que travam a maioria das iniciativas de IA em empresa de porte. Modelos de linguagem de última geração, incluindo a família Claude da Anthropic, são acessíveis diretamente de dentro do workspace via Foundation Model APIs e External Models, com governança centralizada e credenciais protegidas. A implicação prática: antes de comprar outra ferramenta de IA, vale checar se o problema não está na base, e não no modelo.


A pergunta que a diretoria faz antes de a arquitetura estar pronta


A cena repete em empresa de porte. A diretoria pergunta pela estratégia de IA. O time de dados abre a apresentação com casos de uso. Só que, por baixo dos slides, o dado que alimentaria esses casos vive em cinco lugares: um data warehouse para BI, um data lake para engenharia de dados, o Jira para operação, o ERP para transacional, e planilhas para o resto. Cada camada tem sua governança (ou a falta dela), suas cópias, seus pipelines de exportação. IA em cima disso funciona no piloto, quebra em produção.


O reflexo é comprar mais uma ferramenta, o que costuma piorar o sintoma. O que resolve estruturalmente é consolidar a base antes. O Lakehouse foi desenhado para isso, e é essa a decisão de arquitetura que precede qualquer conversa séria sobre IA generativa em escala.


A tese deste guia: em ambiente enterprise, a IA que escala não é a que roda no modelo mais novo, é a que se apoia numa camada de dado unificada e governada. Databricks Lakehouse é a arquitetura que consolida essa camada; modelos como Claude passam a ser consumidos como componente, não como projeto separado. Quem trata IA como app isolado gasta duas vezes: uma vez no modelo, outra na integração com o dado que não estava pronto.


O que o Databricks Lakehouse resolve, tecnicamente


A promessa do Lakehouse não é retórica de fornecedor. Ela responde a três problemas concretos que qualquer arquiteto reconhece.


1. Uma camada, não duas

A arquitetura tradicional separa data lake (armazenamento barato de dado bruto) e data warehouse (dado estruturado para BI). Isso força cópias, pipelines de sincronização e governança em dois lugares. O Lakehouse unifica: dado bruto e dado estruturado moram na mesma camada, com performance analítica sobre armazenamento de baixo custo. Menos cópia, menos pipeline, menos ponto de falha.


2. Governança unificada com Unity Catalog

A Databricks descreve o Unity Catalog como o sistema de governança para dado e IA na plataforma. Ele centraliza controle de acesso, linhagem, auditoria e descoberta de ativos, e essa mesma camada agora governa também modelos de IA e agentes. O ponto que importa para o gestor: as permissões que você define sobre a tabela valem para o modelo que consulta a tabela, para o notebook que treina em cima dela, para o endpoint que serve o resultado. Governança é uma só, não uma para cada ferramenta.


3. IA como componente da plataforma, não como app externo

Modelos de linguagem estão disponíveis via Foundation Model APIs (modelos hospedados pela Databricks, incluindo Claude e Llama) e External Models (modelos hospedados fora, como OpenAI e Anthropic, acessados via endpoint gerenciado). Nos dois caminhos, a chamada é feita de dentro do workspace com credenciais centralizadas, o que a Databricks aponta como ganho de segurança e de governança: as chaves de API não precisam vazar pelo código, e o consumo é rastreável.


Onde Claude entra nessa arquitetura (o caminho técnico oficial)


A Databricks documenta dois caminhos oficiais para usar modelos Claude, ambos com governança do Unity Catalog e credenciais centralizadas.


Caminho A · Foundation Model APIs (Claude hospedado pela Databricks)

A Databricks hospeda modelos Claude, como o databricks-claude-sonnet-4-5, como parte das Foundation Model APIs. Você consulta o endpoint via SDK Anthropic (compatível), via cliente OpenAI unificado ou via REST direta. A autenticação é feita com token Databricks, não com chave Anthropic; a região e a residência do dado seguem a política do workspace. Exemplo de chamada, conforme a documentação oficial:


client = anthropic.Anthropic(

 base_url="https://<workspace>.databricks.com/serving-endpoints/anthropic",

 default_headers={"Authorization": f"Bearer {DATABRICKS_TOKEN}"},

)


client.messages.create(model="databricks-claude-sonnet-4-5", ...)


Caminho B · External Models (Claude hospedado fora, endpoint governado dentro)

Você mantém o modelo hospedado na Anthropic (ou em outro provedor) e cria um endpoint Databricks que encaminha as chamadas. A chave da Anthropic fica armazenada em um secret gerenciado pela Databricks, e o endpoint interno concentra rate limit, auditoria e controle de acesso. É o caminho quando existe um contrato direto com o fornecedor do modelo ou quando se quer preservar features específicas do provedor.


Qual escolher

A camada de dev customizado que amarra tudo


Nada dessa arquitetura entrega valor sozinha. O que transforma Lakehouse e Claude em resultado de negócio é o desenvolvimento sob medida no meio: pipelines de ingestão dos sistemas reais (Jira, ERP, CRM), notebooks que preparam o dado no formato que o modelo consome, aplicações que recebem a saída do modelo e a devolvem para o processo. É trabalho de engenharia de dados, engenharia de software e arquitetura de solução, feito com governança do Unity Catalog do início ao fim.


É onde a CSP Tech atua nas três camadas ao mesmo tempo: como parceira Databricks na plataforma de dado e no Unity Catalog, como participante do Anthropic Partner Network (APN) com time em processo de certificação Claude Certified Architect Foundations (CCAF) para arquitetar soluções com Claude, e com uma prática consolidada de desenvolvimento sob medida (Atlassian Gold, Microsoft Gold, 34 anos de mercado) que sustenta a integração no dia a dia. Os três encaixados, não vendidos separado.


O padrão que separa o piloto que escala do piloto que morre: a IA generativa em produção não é o modelo escolhido, é o pipeline que alimenta o modelo e recebe a resposta. Sem Lakehouse, cada caso de uso vira integração ad hoc. Com Lakehouse mais Claude via Foundation Model APIs, o caso de uso vira componente que reaproveita a mesma camada de governança, os mesmos endpoints, os mesmos padrões de auditoria. É a diferença entre operar IA e improvisar IA.


Quando ainda não é hora de investir em Lakehouse + IA


Adotar Databricks Lakehouse é decisão estrutural, não moda. Há cenários em que investir agora é dimensionar para um problema que ainda não existe.


•     Volume de dado pequeno, com uma ou duas fontes bem controladas: um data warehouse bem configurado ou uma solução gerenciada mais simples resolve, sem a complexidade do Lakehouse.

•     Sem casos de uso claros de IA generativa: comprar plataforma para “fazer IA depois” é investimento sem lastro. O caminho é começar pelos casos de negócio e checar se a arquitetura atual atende, antes de trocar de plataforma.

•     Governança básica em estado crítico: se os dados operacionais ainda estão bagunçados na origem (Jira mal implementado, ERP com regras não documentadas, planilhas paralelas), o pré-requisito é organizar antes de consolidar. Consolidar bagunça em um Lakehouse gera Lakehouse bagunçado, mais rápido.



Perguntas frequentes


O que é Databricks Lakehouse e por que importa para IA?

É uma arquitetura de plataforma de dado que unifica data lake (armazenamento bruto) e data warehouse (analítico estruturado) em uma camada única, com governança centralizada via Unity Catalog. Importa para IA porque modelos generativos escalam sobre dado governado, e o Lakehouse resolve estruturalmente o problema de dado espalhado que trava a maioria das iniciativas em produção, segundo a documentação da Databricks.


Dá para usar Claude dentro do Databricks?

Sim, por dois caminhos oficiais documentados pela Databricks: Foundation Model APIs, com Claude hospedado pela própria Databricks (por exemplo, o modelo databricks-claude-sonnet-4-5), e External Models, que criam um endpoint governado apontando para Claude hospedado na Anthropic. Nos dois casos, credenciais são gerenciadas centralmente e o acesso passa por Unity Catalog.


Preciso trocar meu Power BI se adotar Databricks?

Não necessariamente. Databricks tem SQL analítico próprio (Databricks SQL), mas continua sendo comum manter Power BI como camada de visualização executiva, consumindo dado do Lakehouse. A decisão depende do seu contrato atual, da maturidade do time e do custo de manter as duas camadas. Não é substituição obrigatória, é decisão de arquitetura por caso.


Como a CSP Tech trabalha essa arquitetura?

Como parceira Databricks, a CSP atua na consolidação da camada de dado com Lakehouse e Unity Catalog. Como participante do Anthropic Partner Network (APN), com time em processo de certificação Claude Certified Architect Foundations (CCAF), desenha soluções com modelos Claude sobre essa base. E como Atlassian Gold e Microsoft Gold Partner com 34 anos de mercado, entrega o desenvolvimento sob medida que amarra os sistemas reais (Jira, ERP, Power BI, aplicações) ao pipeline.


Próximo passo


Se a sua estratégia de IA depende de um dado que ainda vive espalhado entre data warehouse, data lake, Jira, ERP e planilha, o próximo passo não é escolher o modelo. É desenhar a arquitetura de dado que sustenta qualquer modelo. Solicite uma avaliação de arquitetura de dados e IA com a CSP Tech e mapeie o caminho de consolidação Lakehouse antes de investir em mais uma ferramenta.

Autor: Guilherme Matos, estrategista de conteúdo e IA, certificado HubSpot, Google e Anthropic. Revisão técnica por arquitetos da CSP Tech (parceira Databricks, participante do Anthropic Partner Network com trilha CCAF em andamento, Atlassian Gold + Microsoft Gold Partner, 34 anos de mercado).


Fontes (oficiais, acesso jul/2026): Databricks Documentation, “Supported foundation models on Model Serving” e “Query with the Anthropic Messages API” (docs.databricks.com); Databricks Documentation, “External models in Model Serving” (docs.databricks.com/generative-ai/external-models); Databricks, “Partner Program” e “Partners overview” (databricks.com/partners); Databricks, documentação do Unity Catalog para governança unificada de dado e IA (docs.databricks.com/data-governance/unity-catalog). Anthropic Partner Network e programa Claude Certified Architect Foundations (CCAF), conforme comunicado oficial da CSP Tech em jul/2026.

Fale com a CSP Tech

.

Por Guilherme Matos • 19 de novembro de 2026
Para usar agentes de IA sobre dados de sinistro sem expor dado pessoal do segurado, o agente precisa herdar a mesma regra de acesso do analista que faz a pergunta, aplicada no momento da consulta. No Databricks, isso depende de duas escolhas. A primeira é o modo de autorização do agente: na autorização por usuário , o agente consulta os dados com a identidade de quem pergunta, e o Unity Catalog aplica automaticamente filtros de linha e máscaras de coluna; na autorização do app, todos os usuários compartilham as permissões de uma conta técnica. A segunda é não contornar as máscaras com cópias de dados feitas para alimentar a busca vetorial. Em sinistros de vida, saúde e acidentes pessoais, parte desses dados é dado de saúde, que a LGPD trata como dado pessoal sensível. Por que o dado de sinistro pede um cuidado diferente Um processo de sinistro reúne dados de identificação do segurado e dos beneficiários, dados bancários para indenização, relatos do evento e, em vários ramos, laudos e informações médicas. A Lei Geral de Proteção de Dados define, no artigo 5º, inciso II, o dado referente à saúde como dado pessoal sensível, e o artigo 11 limita as hipóteses em que ele pode ser tratado. Entre elas estão o exercício regular de direitos, inclusive em contrato, e a garantia da prevenção à fraude. O artigo 6º, inciso III, acrescenta o princípio da necessidade: o tratamento deve se limitar ao mínimo necessário para a sua finalidade. Na operação, esse princípio já costuma estar refletido em perfis de acesso. O regulador de sinistro vê o processo que conduz, o time antifraude vê os sinais de que precisa, e o atendimento vê o status do pedido sem acessar o laudo. O risco do agente de IA é desfazer essa separação sem que ninguém perceba, porque ele responde em linguagem natural e não mostra de qual tabela, com qual permissão, tirou cada informação. Tese da CSP Tech: na seguradora, o agente de IA deve ver exatamente o que o analista que fez a pergunta veria, nem mais nem menos, e essa regra precisa ser aplicada no momento da consulta, pela plataforma de dados, e não por instruções no prompt. No Databricks, os dois pontos em que o dado do segurado costuma escapar são a escolha da autorização do agente e as cópias feitas para busca vetorial, e ambos se resolvem no desenho, antes do piloto. Os dois modos de autorização do agente Autorização do app Segundo a documentação da Databricks, atualizada em 23 de outubro de 2026, na autorização do app o agente se autentica com uma conta técnica criada automaticamente, e todos os usuários compartilham as mesmas permissões. É o modo mais simples de colocar um piloto no ar, e por isso é o mais comum. O efeito em um ambiente de sinistros é direto: se a conta técnica tem acesso ao laudo médico, qualquer pessoa que converse com o agente pode receber uma resposta baseada nele, ainda que o perfil dessa pessoa não permita abrir o laudo. Autorização por usuário Na autorização por usuário, antes chamada de on-behalf-of-user, o agente acessa os recursos com a identidade de quem faz a pergunta. A documentação lista como benefícios o acesso por usuário a dados sensíveis, os controles granulares do Unity Catalog, a trilha de auditoria por usuário e a aplicação automática de filtros de linha e máscaras de coluna. O recurso funciona com SQL Warehouse, Genie, Model Serving, índices de AI Search e tabelas do Unity Catalog, entre outros. Os dois modos podem ser combinados no mesmo agente, o que permite usar a conta técnica para recursos sem dado pessoal e a identidade do usuário para os que têm. Há três cuidados registrados pela própria Databricks. A autorização por usuário está em prévia pública e precisa ser habilitada por um administrador do workspace. As mudanças de escopo podem levar até cinco minutos para valer, por causa de caches. E, se o token do usuário não chegar ao agente, a função que deveria usar a identidade dele recorre à conta técnica sem gerar erro. Por isso a documentação recomenda testar o agente com uma ferramenta que devolva a identidade em uso antes de liberar o acesso. Filtros de linha e máscaras de coluna: a regra aplicada na consulta No Unity Catalog, filtros de linha e máscaras de coluna restringem, no momento da consulta, quais linhas e quais valores cada usuário consegue ver, segundo a documentação de filtros e máscaras , atualizada em 6 de novembro de 2026. O filtro de linha é uma função que exclui as linhas para as quais retorna falso, o que permite, por exemplo, que o regulador veja só os processos da sua carteira. A máscara de coluna é uma função que devolve o valor original ou uma versão mascarada, o que permite mostrar o diagnóstico ao time médico e um valor oculto ao atendimento. Para aplicar a mesma regra a muitas tabelas, a Databricks recomenda políticas baseadas em atributos, ligadas a tags no catálogo ou no esquema, que os donos das tabelas não conseguem remover. Combinadas com a autorização por usuário, essas regras fazem o agente herdar o perfil do analista sem nenhuma instrução no prompt. Uma instrução do tipo “não revele dados de saúde” pode ser contornada por uma pergunta bem formulada, enquanto a máscara aplicada pela plataforma impede que o dado chegue ao modelo. Onde o dado do segurado escapa A cópia para busca vetorial. A documentação informa que tabelas com filtros de linha ou máscaras de coluna não podem ser usadas para criar um índice do AI Search. Quando o time de dados quer que o agente pesquise documentos de sinistro, a saída mais rápida é criar uma cópia sem as proteções para indexar, e com isso o índice passa a conter o que as máscaras escondiam. O desenho seguro prepara uma tabela própria para o índice, já sem os campos sensíveis ou com eles transformados, e aplica a autorização por usuário ao índice. Os clones e as versões antigas. Clones de tabelas com filtros ou máscaras não são suportados, e a consulta a versões anteriores da tabela, o time travel, não funciona com filtros e máscaras em nível de tabela. Ambientes de teste montados com cópias de produção são um caminho conhecido para o dado sensível sair do perímetro. As views. Filtros e máscaras não podem ser aplicados diretamente a uma view. Se o agente consulta uma view construída sobre a tabela original, a proteção precisa estar na tabela de origem. O fallback silencioso. Quando o token do usuário não chega ao agente, a consulta passa a usar a conta técnica sem erro. O teste de identidade em uso precisa fazer parte da homologação e do monitoramento, e não só do primeiro deploy. O que a seguradora precisa decidir antes do piloto A plataforma aplica as regras, mas não as define. Antes de liberar o agente, a seguradora precisa classificar quais colunas de sinistro são dado pessoal e quais são dado de saúde, decidir quais perfis podem ver cada classe, registrar essas decisões como tags governadas no catálogo e escolher, recurso por recurso, se o agente usa a identidade do usuário ou a conta técnica. Essa classificação é o mesmo trabalho de governança de dados que a seguradora já precisaria fazer para a LGPD, agora aplicado a um consumidor novo, que responde a perguntas em vez de abrir telas. O caso de dados de conversa, com mascaramento de gravações e transcrições, está tratado no artigo “Governança de dados de conversa no Databricks” , publicado no blog. Aqui o foco é o agente que consulta o processo de sinistro. A camada regulatória, com a ressalva devida A LGPD exige, no artigo 46, medidas de segurança técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados, e não prescreve ferramenta. No mercado de seguros, a Circular Susep 638/2021 trata de segurança cibernética e determina a comunicação de incidentes relevantes à autarquia. A leitura de que o agente de IA deve herdar a regra de acesso do analista é uma interpretação editorial da CSP Tech sobre como aplicar o princípio da necessidade a um novo tipo de consumidor de dados. A base legal de cada tratamento, a classificação dos dados e a avaliação de impacto cabem ao encarregado de dados e às áreas de compliance e jurídico da seguradora. Quando esse desenho é desproporcional Um agente que trabalha só com dados agregados ou anonimizados, como volume de sinistros por ramo e região, não precisa de autorização por usuário: a conta técnica com acesso apenas a essas tabelas resolve. O mesmo vale para um agente interno que responde sobre normas e procedimentos, sem acesso a processos de segurados. O cuidado descrito aqui é para o agente que consulta processos individuais. Perguntas frequentes Dado de sinistro é dado pessoal sensível? Parte dele é. A LGPD, no artigo 5º, inciso II, classifica o dado referente à saúde como dado pessoal sensível, e processos de sinistro de vida, saúde e acidentes pessoais costumam conter laudos e informações médicas. Dados de identificação e bancários do segurado são dados pessoais, ainda que não sensíveis. O que é autorização por usuário em agentes do Databricks? É o modo em que o agente acessa os dados com a identidade de quem faz a pergunta, antes chamado de on-behalf-of-user. Com ele, o Unity Catalog aplica automaticamente filtros de linha e máscaras de coluna. Segundo a documentação da Databricks de outubro de 2026, o recurso está em prévia pública e precisa ser habilitado por um administrador do workspace. Posso indexar no AI Search uma tabela com máscaras de coluna? Não. A documentação da Databricks informa que tabelas com filtros de linha ou máscaras de coluna não podem ser usadas para criar um índice do AI Search. O caminho seguro é preparar uma tabela própria para o índice, sem os campos sensíveis ou com eles transformados, em vez de copiar a tabela original sem proteção. Uma instrução no prompt basta para o agente não revelar dados de saúde? Não é uma proteção confiável, porque pode ser contornada por perguntas bem formuladas. A forma mais segura é impedir que o dado chegue ao modelo, aplicando máscaras de coluna e filtros de linha na plataforma de dados e fazendo o agente consultar com a identidade do usuário. Próximo passo Faça um teste de dez minutos: no agente que sua equipe está testando sobre dados de sinistro, faça a mesma pergunta com dois usuários de perfis diferentes, um do atendimento e outro da regulação, e compare as respostas. Depois, verifique se o índice de busca do agente foi criado a partir de uma cópia da tabela original. Se as respostas forem iguais, ou se o índice veio de uma cópia sem máscaras, o agente está vendo mais do que o analista. Solicite um diagnóstico de dados da CSP Tech para desenhar a autorização e as máscaras antes de ampliar o piloto. Leituras relacionadas Governança de dados e IA Segurança de agentes de IA: por que permissão virou o novo perímetro (e como limitar o agente sem inutilizá-lo) Data lake ou pântano de dados: por que a IA não fracassa por falta de dado, e sim por não achar o dado certo MDM no Databricks: como construir gestão de dados mestres no Lakehouse (sem comprar mais uma plataforma) Por que 40% dos projetos de agentes de IA serão cancelados até 2027 (e o que a fundação de dados tem a ver com isso) Setor financeiro e seguros Agentes de IA não autorizados chegaram às contas bancárias dos EUA. Seus sistemas sabem quem está do outro lado? Empresa de intranet para banco, cooperativa ou seguradora: como comparar plataforma pronta, SharePoint e desenvolvimento sob medida “De onde veio esse número”? Rastreabilidade de dados para decisões mais confiáveis Autor: Guilherme Matos, estrategista de conteúdo e IA, certificado HubSpot, Google, Anthropic e Semrush. Revisão técnica por especialistas Atlassian e de dados da CSP Tech (Atlassian Gold Partner, parceira Databricks, Microsoft Gold Partner, participante do Anthropic Partner Network, 38 anos de mercado, produto próprio Power BI for Jira no Atlassian Marketplace). Fontes (acesso em 19/11/2026): Databricks Documentation, “Authentication for AI agents” (autorização do app e por usuário; prévia pública; fallback sem erro; recursos suportados), atualizada em 23/10/2026. Databricks Documentation, “Row filters and column masks” (avaliação em tempo de consulta, políticas ABAC, limitações com AI Search, clones, time travel e views), atualizada em 06/11/2026. Lei nº 13.709/2018 (LGPD) , arts. 5º (II), 6º (III), 11 e 46, texto compilado no Planalto. Circular Susep nº 638/2021 . A tese e as práticas de desenho são formulação editorial da CSP Tech. Este conteúdo não constitui aconselhamento jurídico ou regulatório.
Por Guilherme Matos • 18 de novembro de 2026
Scripts envenenados em quatro serviços web, DDoS contra a rede Tor: como cada ataque de novembro de 2026 funcionou e o que revisar em cada camada.
Por Guilherme Matos • 17 de novembro de 2026
Com o Pix funcionando 24 horas, a mudança segura em pagamentos é a que chega à janela com o caminho de volta testado e registrado. Veja como estruturar janela, aprovação e rollback.
Por Guilherme Matos • 16 de novembro de 2026
A linhagem do Unity Catalog mostra de onde veio cada coluna, mas tem limites documentados. Veja o que ela não cobre e o que a instituição financeira precisa somar para defender um número reportado.
Por Guilherme Matos • 13 de novembro de 2026
Em banco, seguradora ou cooperativa, um normativo interno vencido que continua acessível na intranet deixa de ser só conteúdo desatualizado e passa a ser instrução operacional errada. Com o Microsoft 365 Copilot, o risco cresce, porque o assistente usa todo o conteúdo que o colaborador tem permissão de ver, inclusive a
Por Guilherme Matos • 12 de novembro de 2026
Uma instância Jira por cooperativa ou uma para o sistema inteiro? Veja os três desenhos possíveis, os critérios de decisão e o que a Resolução 4.893 permite ao sistema cooperativo.
Por Guilherme Matos • 10 de novembro de 2026
Com IA, o gestor de banco pergunta ao dado em linguagem natural em vez de esperar o relatório. Veja o que muda no time de dados com o Genie do Databricks: curadoria, testes de precisão, revisão de respostas e o histórico de perguntas como fila de demanda.
Por Guilherme Matos • 9 de novembro de 2026
Banco, cooperativa e seguradora já usam mais IA do que a TI registrou. Veja o que um inventário de IA precisa conter para servir de evidência à auditoria e ao Banco Central, de onde vêm os itens e onde manter o registro vivo no Jira Service.
Por Guilherme Matos • 5 de novembro de 2026
A Resolução 4.893 pede que o Banco Central saiba onde os dados podem ser processados. No Databricks, os recursos de IA seguem a área geográfica do workspace, que pode ir além do Brasil. Veja o que mapear antes de contratar e como configurar.