Skip to content
View joaohppenha's full-sized avatar
🎯
Focusing
🎯
Focusing

Highlights

  • Pro

Block or report joaohppenha

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Content in all repositories owned by your account will be closed.
Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
joaohppenha/README.md

Olá, eu sou João Henrique 👋 · Hi, I'm João Henrique 👋

PT: Engenheiro de Backend & IA · Jurimetrista · Pesquisador na Cohere Open Labs
EN: Backend & AI Engineer · Jurimetrics Specialist · Cohere Open Labs Researcher

LLMs & Structured Outputs · Distributed Data Pipelines · Medallion Architecture · Data Governance & Audit


🇧🇷 Português

Sobre

Transformo infraestruturas de dados complexas em sistemas inteligentes através da união entre Engenharia de Backend, IA Generativa e Governança de Dados. Com uma trajetória sólida de mais de 10 anos na intersecção entre tecnologia e o setor jurídico, sou especialista em Jurimetria e atuo em todo o ciclo de vida do dado: desde a construção de pipelines distribuídos escaláveis até o design de arquiteturas de IA integradas a regras de negócio e conformidade.

Atualmente, sou graduando em Análise e Desenvolvimento de Sistemas (ADS) e divido minha atuação técnica em três frentes de alto impacto:

  • Engenharia de Backend & IA na FlyRank: Desenvolvimento de infraestrutura de microsserviços, contratos de APIs estáveis e fluxos de IA baseados em recuperação (RAG) e saídas estruturadas (structured outputs).
  • Pesquisa Avançada na Cohere Open Labs: Membro aprovado no ecossistema global de ciência aberta da Cohere, focado nas fronteiras de Large Language Models (LLMs), Processamento de Linguagem Natural (NLP) e computação quântica.
  • Governança & Auditoria de Dados no TCU: Auditor de Dados Voluntário na Força-Tarefa Cidadã do Tribunal de Contas da União (TCU/OSB), atuando na auditoria de qualidade de dados (Data Quality), rastreabilidade (Data Lineage) e conformidade com a Lei de Acesso à Informação (LAI).

Domínio Técnico & Infraestrutura

Data Engineering & Platform: Domínio de PySpark e Delta Lake em ambiente Databricks para processamento distribuído. Construção e orquestração de pipelines ponta a ponta sob a Arquitetura Medalhão (Bronze, Silver, Gold).

AI, NLP & Backend: Desenvolvimento em Python para microsserviços, APIs RESTful com FastAPI, automações complexas e integração avançada de LLMs, agentes inteligentes, Pydantic, RAG e Machine Learning (Scikit-learn, Pandas, NumPy).

Databases & Storage: Experiência avançada em ecossistemas SQL (PostgreSQL, SQL Server, MySQL, BigQuery e Databricks SQL), modelagem dimensional e vivência com bancos NoSQL e Cache (MongoDB, Redis, Cassandra).

Visual Analytics & Observabilidade: Criação de aplicações analíticas interativas em Streamlit, dashboards no Databricks SQL e Power BI para suporte direto à tomada de decisão executiva.


Tecnologias & Ferramentas

Python FastAPI Pydantic PySpark Databricks Airflow OpenAI PyTorch Pandas NumPy PostgreSQL MySQL BigQuery Supabase MongoDB Redis Cassandra Streamlit Power%20BI Git Linux


Projetos em Destaque

Sistema de Engenharia de Dados e Machine Learning para Auditoria e Detecção de Anomalias em Gastos Públicos (Projeto Capstone na AI Talent Academy — White Cube)

PySpark Scikit-Learn Python PostgreSQL

Desenvolvido como Projeto Capstone de conclusão do programa AI Talent Academy da White Cube, o GovSpender Test é uma plataforma de inteligência de dados projetada para ingestão, processamento em larga escala e auditoria automatizada de cartões de pagamento e despesas governamentais brasileiras.

Destaques técnicos: Pipeline distribuído orientado à Arquitetura Medalhão (Bronze → Silver → Gold) emulando um datalake no Github, detecção híbrida de anomalias combinando agrupamento estatístico (K-Means) e aprendizado não supervisionado (Isolation Forest), validação estrita de integridade e geração automatizada de relatórios analíticos para governança pública e controle social.


Sistema RAG de nível empresarial para análise regulatória e compliance com GDPR e EU AI Act (Projeto Capstone na FlyRank AI)

FastAPI PostgreSQL Podman Streamlit Google Gemini

Desenvolvido como Projeto Capstone do meu estágio em Backend e IA na FlyRank AI, o EuroGuard AI é um sistema RAG end-to-end de alta resiliência para consultas e análises de conformidade com o GDPR e o EU AI Act.

Destaques técnicos: Busca por similaridade vetorial via PostgreSQL (pgvector), geração fundamentada usando Google Gemini 3.6 Flash, guardrails de contexto estritos para eliminação de alucinações, retentativas automáticas e backoff exponencial com tenacity, infraestrutura conteinerizada via Podman e interface interativa em Streamlit.


Pipeline automatizado de geração de relatórios PDF com Playwright e FastAPI

FastAPI Playwright SQLite Python

API backend desenvolvida em FastAPI que consulta agregações analíticas em banco relacional SQLite, renderiza dados via Jinja2 em templates HTML e converte os relatórios para PDF em alta fidelidade usando Playwright (headless browser).

Destaques técnicos: Agregações SQL avançadas (KPIs, Top 5 Produtos e Séries Temporais), renderização assíncrona controlada por CSS print-media com quebras de página limpas, arquitetura com garantia de idempotência no mesmo dia (POST /reports) e serving direto de artefatos PDF.


API resiliente pronta para produção para classificação e enriquecimento de mensagens via LLM

FastAPI Pydantic Python OpenRouter

API em FastAPI que processa mensagens não estruturadas de suporte SaaS e extrai metadados estruturados validados via Pydantic usando modelos do OpenRouter. Projetada com foco em alta confiabilidade, resiliência e controle operacional em sistemas de produção.

Destaques técnicos: Validação estrita de schema Pydantic, autorreparo com 1-shot retry prompt, log de quarentena em JSONL, timeout estrito de 30s, kill switch instantâneo via variável de ambiente, logs estruturados de tokens/custos e suite de testes automatizada atingindo 87.5% de precisão.


Motor Lógico de Triagem Assíncrona e Roteamento de Alta Performance para Sistemas de Suporte e Atendimento ao Cliente

Python Pandas OpenAI

Desenvolvido como um protótipo de alta eficiência para plataformas de grande escala (padrão Big Tech e aplicativos de delivery), o projeto implementa um motor inteligente de tomada de decisão baseado nas primitivas estruturadas do Jev (TypeSafe AI) para otimizar fluxos de atendimento ao cliente em segundo plano.

Destaques técnicos: Arquitetura orientada ao conceito de processamento rápido (System One) atuando na borda da API para reduzir custos operacionais, mapeamento multidimensional de insatisfação e métricas financeiras (Score), roteamento assíncrono e invisível de incidentes para esteiras de suporte dedicadas (Choice), e redução analítica de até 160x na latência de resposta se comparado a pipelines convencionais baseados em LLMs generativas.


Engenharia de Dados ponta a ponta com arquitetura Medalhão em Databricks

PySpark Delta Lake Databricks Python

Pipeline completo de dados públicos da PRF com arquitetura Medalhão (Bronze → Silver → Gold) em PySpark e Delta Lake no Databricks. Processa 72.524 registros com transformações distribuídas, particionamento, transações ACID e entrega analítica via dashboard Databricks SQL — do CSV bruto ao insight em ~2 minutos.

Destaques técnicos: Arquitetura Medalhão, Delta Lake com versionamento ACID, orquestração via dbutils.notebook.run() (padrão Airflow-ready), 4 tabelas Gold com métricas derivadas e dashboard publicado.


Pipeline de dados jurídicos com OpenSearch e Streamlit para busca em Diários Oficiais

OpenSearch Streamlit Python

Solução de Legal Analytics para automação de extração do Diário da Justiça Eletrônico do TJSP. Realiza raspagem, parsing de PDF/HTML e indexação em cluster OpenSearch com busca textual completa (Full-Text Search), entregando interface analítica em Streamlit para consultas jurídicas avançadas.


RESTful API segura com autenticação JWT e injeção de dependências

FastAPI Supabase JWT

API backend robusta desenvolvida em FastAPI integrada ao Supabase Auth como Identity Provider. Implementa o ciclo completo de autenticação (signup, login, logout), rotas protegidas via injeção de dependências (HTTPBearer) e documentação interativa OpenAPI/Swagger UI.


Engenharia de Dados e Compliance Tributário

Apache Airflow AWS SQS AWS S3

Pipeline de dados orientado a eventos para espelhamento tributário em tempo real, simulando o impacto da Reforma Tributária Brasileira (IBS/CBS) via Shadow Accounting. Dashboard executivo para CFO com KPIs de delta tributário e riscos de precificação.


API RESTful concorrente para gerenciamento de tarefas com validação estrita

FastAPI Pydantic Python

API RESTful concorrente para gerenciamento de tarefas em FastAPI com validação estrita via Pydantic, respostas parametrizadas e documentação OpenAPI.


API backend para gestão de tarefas com persistência relacional limpa

Python SQLite

API backend para gestão de tarefas utilizando Python e persistência relacional com SQLite, aplicando padrões de modelagem de dados e arquitetura de software limpa.


Sistema de predição de desfechos judiciais e provisionamento financeiro com Random Forest

Scikit-Learn Power BI Python

Sistema de predição de desfechos judiciais e provisionamento financeiro com Random Forest. Integra ETL de múltiplas fontes, análise estatística e dashboards Power BI. Gerou aumento de até 50% na eficiência da gestão de processos.


Sistema completo de empréstimo consignado multi-database

MongoDB Redis Cassandra Docker

Sistema completo de empréstimo consignado utilizando MongoDB, Redis e Cassandra. Inclui modelagem, CRUD, consultas avançadas, cache, otimizações de performance e execução via Docker.


Análise descritiva do cenário de acessibilidade física dos cinemas brasileiros

Power BI Power Query

Análise descritiva do cenário de acessibilidade física dos cinemas brasileiros com dados da ANCINE. Uso de Power Query, DAX, gráficos, mapas e storytelling com dados.


Modelagem e implementação de banco de dados relacional para advocacia

MySQL Python

Modelagem e implementação de banco de dados relacional para escritório de advocacia em MySQL. Aplicativo CLI em Python para gestão jurídica e geração automática de preâmbulos de petições.


Pipeline ETL sobre dados públicos do Supremo Tribunal Federal

Pandas Python

Pipeline ETL em Python sobre dados públicos do Supremo Tribunal Federal: extração de planilhas Excel, limpeza, transformação e visualização de dados.


Coleção Fundamentos

  • Fundamentos SQL — DDL, DML, DQL, DTL, DCL com BigQuery
  • Fundamentos Python — 5 projetos cobrindo variáveis, estruturas de controle, listas, funções, arquivos e exceções

📌 Áreas de Atuação & Interesse

  • ⚙️ Backend Engineering · Microservices · API Design · FastAPI
  • 🤖 Generative AI · RAG · Structured Outputs · Prompt Engineering
  • ⚙️ Data Engineering · Distributed Pipelines · Medallion Architecture
  • ⚖️ Jurimetria · Legal Analytics · Data Governance & Audit (TCU)
  • 🗄️️ SQL & NoSQL Databases · Vector Stores · Data Modeling
  • ☁️ Cloud Data Platforms · Databricks · BigQuery · AWS

🇺🇸 English

About

I transform complex data infrastructures into intelligent systems by bridging Backend Engineering, Generative AI, and Data Governance. With over 10 years of experience at the intersection of technology and the legal domain, I specialize in Jurimetrics and operate across the entire data lifecycle: from building scalable distributed pipelines to designing AI architectures aligned with business rules and compliance.

Currently pursuing a degree in Systems Analysis and Development (ADS), my technical work spans three high-impact fronts:

  • Backend & AI Engineering at FlyRank: Developing microservice infrastructure, stable API contracts, and AI workflows based on Retrieval-Augmented Generation (RAG) and structured outputs.
  • Advanced Research at Cohere Open Labs: Accepted member of Cohere's global open-science ecosystem, focusing on the frontiers of Large Language Models (LLMs), Natural Language Processing (NLP), and quantum computing.
  • Data Governance & Audit at TCU: Volunteer Data Auditor at the Citizen Task Force of the Brazilian Federal Court of Accounts (TCU/OSB), auditing Data Quality, Data Lineage, and compliance with the Access to Information Law (LAI).

Technical Expertise & Infrastructure

Data Engineering & Platform: Proficiency in PySpark and Delta Lake on Databricks for distributed data processing. End-to-end pipeline design under Medallion Architecture (Bronze, Silver, Gold).

AI, NLP & Backend: Python development for microservices, RESTful APIs with FastAPI, complex automations, and advanced integration of LLMs, intelligent agents, Pydantic, RAG, and Machine Learning tools (Scikit-learn, Pandas, NumPy).

Databases & Storage: Advanced expertise across SQL ecosystems (PostgreSQL, SQL Server, MySQL, BigQuery, and Databricks SQL), dimensional modeling, and NoSQL/Caching stores (MongoDB, Redis, Cassandra).

Visual Analytics & Observability: Interactive analytical web applications using Streamlit, Databricks SQL dashboards, and Power BI for direct C-level decision support.


Featured Projects

Data Engineering & Machine Learning System for Public Spending Audit and Anomaly Detection (Capstone Project at AI Talent Academy — White Cube)

PySpark Scikit-Learn Python PostgreSQL

Developed as the Capstone Project for the AI Talent Academy by White Cube, GovSpender Test is a data intelligence platform engineered for large-scale ingestion, processing, and automated auditing of public Brazilian government expenditure and credit card data.

Technical highlights: Medallion Architecture (Bronze → Silver → Gold) distributed pipeline built with PySpark, hybrid anomaly detection combining statistical clustering (K-Means) and unsupervised learning (Isolation Forest), strict data integrity validation, and automated analytical report generation for public governance and social control.


Enterprise-grade RAG system for GDPR and EU AI Act regulatory compliance analysis (Capstone Project at FlyRank AI)

FastAPI PostgreSQL Podman Streamlit Google Gemini

Developed as my Capstone Project during my Backend & AI Internship at FlyRank AI, EuroGuard AI is an end-to-end resilient RAG system engineered for GDPR and EU AI Act compliance analysis.

Technical highlights: Vector similarity search via PostgreSQL (pgvector), grounded reasoning with Google Gemini 3.6 Flash, strict prompt guardrails to eliminate legal hallucinations, automated retries and exponential backoff via tenacity, containerized infrastructure with Podman, and interactive UI via Streamlit.


Automated PDF report generation pipeline with Playwright and FastAPI

FastAPI Playwright SQLite Python

Backend API built with FastAPI that queries SQLite analytical aggregations, renders data via Jinja2 into HTML templates, and converts high-fidelity PDF documents using Playwright (headless browser).

Technical highlights: Advanced SQL aggregations (KPIs, Top 5 Products, Time Series), async rendering controlled with CSS print-media page breaks, same-day idempotency mechanism (POST /reports), and direct PDF file serving endpoints.


Resilient, production-ready API for unstructured message classification and metadata extraction via LLM

FastAPI Pydantic Python OpenRouter

FastAPI endpoint that processes unstructured SaaS support messages and extracts structured metadata validated with Pydantic using OpenRouter LLMs. Built with a strong focus on high reliability, production resiliency, and operational control.

Technical highlights: Strict Pydantic schema validation, 1-shot repair retry prompt, JSONL quarantine logging, hard 30s timeout, environment-based kill switch, structured token/cost metrics, and an automated evaluation suite achieving 87.5% accuracy.


End-to-end Data Engineering with Medallion Architecture on Databricks

PySpark Delta Lake Databricks Python

Complete pipeline for public PRF data using Medallion Architecture (Bronze → Silver → Gold) with PySpark and Delta Lake on Databricks. Processes 72,524 records with distributed transformations, partitioning, ACID transactions, and analytical delivery via Databricks SQL dashboard — from raw CSV to insight in ~2 minutes.


Legal data pipeline with OpenSearch and Streamlit for Official Gazette search

OpenSearch Streamlit Python

Legal Analytics solution for automated extraction from TJSP Electronic Gazette. Features web scraping, PDF/HTML parsing, and indexing into an OpenSearch cluster with Full-Text Search, served through an interactive Streamlit UI for advanced legal research.


Secure RESTful API with JWT Authentication and Dependency Injection

FastAPI Supabase JWT

Robust backend API built with FastAPI integrated with Supabase Auth as Identity Provider. Implements full user authentication lifecycles (signup, login, logout), protected endpoints via dependency injection (HTTPBearer), and interactive OpenAPI/Swagger UI documentation.


Event-driven data pipeline for real-time tax mirroring and compliance

Apache Airflow AWS SQS AWS S3

Event-driven data pipeline for real-time tax mirroring, simulating the impact of Brazil's Tax Reform (IBS/CBS) via Shadow Accounting. Executive dashboard for CFO with tax delta KPIs and pricing risk exposure.


Concurrent RESTful API for task management with strict validation

FastAPI Pydantic Python

Concurrent RESTful API for task management built with FastAPI featuring strict Pydantic validation, parameterized responses, and OpenAPI documentation.


Backend API for task management with clean relational persistence

Python SQLite

Backend API for task management utilizing Python and relational persistence with SQLite, applying data modeling best practices and clean software architecture.


Judicial outcome prediction system and dynamic financial provisioning using Random Forest

Scikit-Learn Power BI Python

Judicial outcome prediction system and dynamic financial provisioning using Random Forest. Integrates ETL from multiple sources, statistical analysis, and Power BI dashboards. Delivered up to 50% improvement in case management efficiency.


Complete payroll loan multi-database system

MongoDB Redis Cassandra Docker

Complete payroll loan system using MongoDB, Redis, and Cassandra. Includes data modeling, CRUD, advanced queries, caching, performance optimizations, and a reproducible Docker environment.


Descriptive analysis of physical accessibility landscape of Brazilian cinemas

Power BI Power Query

Descriptive analysis of the physical accessibility landscape of Brazilian cinemas using ANCINE open data. Includes Power Query, DAX formulas, charts, maps, and data storytelling.


Relational database modeling and implementation for a law firm

MySQL Python

Relational database modeling and implementation for a law firm in MySQL. Python CLI application for legal case management and automatic generation of legal petition headers.


Python ETL pipeline on public data from Brazil's Supreme Court

Pandas Python

Python ETL pipeline on public data from Brazil's Supreme Court: extraction from Excel spreadsheets, cleaning, transformation, and data visualization.


Coleção Fundamentos

  • Fundamentos SQL — DDL, DML, DQL, DTL, DCL com BigQuery
  • Fundamentos Python — 5 projetos cobrindo variáveis, estruturas de controle, listas, funções, arquivos e exceções

📌 Áreas de Atuação & Interesse

  • ⚙️ Backend Engineering · Microservices · API Design · FastAPI
  • 🤖 Generative AI · RAG · Structured Outputs · Prompt Engineering
  • ⚙️ Data Engineering · Distributed Pipelines · Medallion Architecture
  • ⚖️ Jurimetria · Legal Analytics · Data Governance & Audit (TCU)
  • 🗄️ SQL & NoSQL Databases · Vector Stores · Data Modeling
  • ☁️ Cloud Data Platforms · Databricks · BigQuery · AWS

PT: Conectando engenharia pesada, IA e governança para resolver problemas complexos de negócio.
EN: Connecting heavy engineering, AI, and governance to solve complex business problems.


Contato · Contact

LinkedIn: https://www.linkedin.com/in/jhppenha/

Pinned Loading

  1. euroguard-ai euroguard-ai Public

    Production-grade RAG system for GDPR & EU AI Act compliance analysis using FastAPI, Streamlit, PostgreSQL with pgvector, Podman, and Google Gemini 3.6 Flash.

    Python

  2. govspendertest govspendertest Public

    Projeto Final de Conclusão do AI Talent Academy (Trilha Machine Learning) — WhiteCube

    Jupyter Notebook

  3. shadow-tax-ledger shadow-tax-ledger Public

    Pipeline de dados orientado a eventos para espelhamento tributário — Reforma Tributária IBS/CBS

    Python

  4. flyrank-auth-a4 flyrank-auth-a4 Public

    Secure REST API built with FastAPI & Supabase Auth. Demonstrates JWT issuance, protected routes, Bearer token verification, and Swagger UI integration.

    Python

  5. projeto_acessibilidade_nos_cinemas projeto_acessibilidade_nos_cinemas Public

    Projeto de Análise Descritiva de Dados utilizando o Power BI