AI Knowledge Platform
ContinuativoLivePiattaforma AI modulare — in produzione su platform.bridging-data.com. La piattaforma comprende Technology Radar, Competitor Intelligence, Regulatory Radar e AI Chat, tutto serverless su AWS. La Fase 6 include un prototipo LLM aziendale con autenticazione Cognito.
Tecnologie
Problema
Le organizzazioni hanno bisogno di un sistema IA conveniente che elabori vari formati di documenti, recuperi risposte contestuali con attribuzione trasparente delle fonti e si adatti da una demo pubblica alla gestione di conoscenze private — senza dipendenza da fornitori LLM.
Approccio
Architettura a strati con livelli separati di ingestione, elaborazione, storage, recupero e LLM. PostgreSQL + pgvector (indice HNSW) per lo storage vettoriale, deduplicazione SHA-256 per evitare re-embedding inutili, provider LLM astratti (OpenAI/Anthropic) per l'indipendenza dal fornitore. Controlli dei costi integrati come requisito di primo livello.
Risultato
Phase 1 ✓ — Demo RAG pubblica attiva su bridging-data.com. Phase 2 ✓ — Pipeline Technology Radar (Lambda settimanale, lun. 06:00 UTC). Phase 3 ✓ — Private Knowledge Hub (65+ documenti indicizzati, locale). Phase 4 ✓ — Pipeline Regulatory Radar (Lambda mensile, 6 fonti: NIST, OWASP, FINMA, EU AI Act, GDPR). Phase 5 ✓ — Pipeline Competitor Radar (Lambda settimanale, 6 aziende, 21 fonti). Phase 5+ ✓ — Knowledge Platform UI (Agent Center, AI Chat, Skills Hub, Reports Dashboard — Next.js SPA). Phase 5+ ✓ — ReportIndexerAgent: i report delle pipeline vengono automaticamente indicizzati nel vector store dopo ogni esecuzione. Metriche: 5 Lambda Functions distribuite · 3 pipeline automatizzate · 72+ documenti nel vector store · 114 segnali competitor · 21 report generati.
Apprendimenti
I nomi dei pacchetti Python non devono oscurare i moduli stdlib (platform → aiplatform); Alembic richiede driver sincroni (psycopg2) mentre FastAPI usa async (asyncpg) — due connection string separati risolvono il problema; l'indice HNSW in pgvector non richiede fase di training; i controlli di costo devono essere integrati presto nell'infrastruttura. asyncpg Warm-Container Reuse: await engine.dispose() deve essere eseguito nello stesso event loop asyncio.run(). Docker ECR Layer Caching su Windows: necessario un workaround con timestamp-tag. Session Isolation nelle pipeline multi-fase: ogni fase apre la propria sessione DB. Content-Hash Dedup evita re-embedding inutili quando l'output della pipeline è identico sotto una nuova chiave S3.
Rilevanza
Dimostra un pensiero completo di pipeline dati (ingestione → preprocessing → storage vettoriale → recupero → generazione LLM), automazione AWS serverless con EventBridge e Lambda, gestione pratica dei costi e la capacità di progettare e operare in produzione una piattaforma AI multilivello in crescita.