AI Knowledge Platform
LaufendLiveModulare AI-Wissensplattform — live unter platform.bridging-data.com. Die Plattform umfasst Technology Radar, Competitor Intelligence, Regulatory Radar und AI Chat, alle serverlos auf AWS betrieben. Phase 6 enthält einen Corporate LLM Prototype mit Cognito-Authentifizierung.
Technologien
Problem
Unternehmen benötigen ein kosteneffizientes AI-System, das verschiedene Dokumentenformate verarbeitet, kontextbezogene Antworten mit transparenter Quellenangabe liefert und von einer öffentlichen Demo bis zur privaten Wissensverwaltung skaliert — ohne Vendor-Lock-in bei LLM-Anbietern.
Ansatz
Mehrschichtige Architektur mit getrennten Ingestion-, Processing-, Storage-, Retrieval- und LLM-Schichten. PostgreSQL + pgvector (HNSW-Index) für Vektorspeicherung, SHA-256-Deduplizierung um unnötige Re-Embeddings zu vermeiden, abstrahierte LLM-Provider (OpenAI/Anthropic) für Anbieterunabhängigkeit. Kostenkontrollen als First-Class-Anforderung eingebaut.
Ergebnis
Phase 1 ✓ — Öffentliche RAG-Demo live auf bridging-data.com. Phase 2 ✓ — Technology Radar Pipeline (wöchentliches Lambda, Mo. 06:00 UTC). Phase 3 ✓ — Private Knowledge Hub (65+ Dokumente indexiert, lokal). Phase 4 ✓ — Regulatory Radar Pipeline (monatliches Lambda, 6 Quellen: NIST, OWASP, FINMA, EU AI Act, DSGVO). Phase 5 ✓ — Competitor Radar Pipeline (wöchentliches Lambda, 6 Unternehmen, 21 Quellen). Phase 5+ ✓ — Knowledge Platform UI (Agent Center, AI Chat, Skills Hub, Reports Dashboard — Next.js SPA). Phase 5+ ✓ — ReportIndexerAgent: neue Pipeline-Reports werden automatisch nach jedem Run in den Vector Store indexiert. Metriken: 5 Lambda Functions deployed · 3 automatisierte Pipelines · 72+ Dokumente im Vector Store · 114 Competitor Signals · 21 Reports generiert.
Learnings
Python-Paketnamen dürfen keine Stdlib-Module überschatten (platform → aiplatform); Alembic benötigt synchrone Treiber (psycopg2), FastAPI asynchrone (asyncpg) — zwei separate Connection Strings lösen das; HNSW-Index in pgvector braucht keine Trainingsphase; Kostenkontrollen müssen früh in die Kerninfrastruktur eingebaut werden. asyncpg Warm-Container Reuse: await engine.dispose() muss im gleichen asyncio.run() Event-Loop laufen. Docker ECR Layer Caching auf Windows: Timestamp-Tag Workaround nötig, da identische Layer-Hashes nicht deterministisch gecacht werden. Session Isolation in Multi-Phase-Pipelines: jede Phase öffnet eine eigene DB-Session, damit Fehler späterer Phasen keine früheren Commits rückgängig machen. Content-Hash Dedup verhindert unnötige Re-Embeddings bei identischem Pipeline-Output unter neuem S3-Key.
Relevanz
Zeigt vollständiges Data-Pipeline-Denken (Ingestion → Preprocessing → Vektorspeicherung → Retrieval → LLM-Antwortgenerierung), serverlose AWS-Automatisierung mit EventBridge und Lambda, praktische Kostensteuerung und die Fähigkeit, eine wachsende, mehrschichtige AI-Plattform von Grund auf zu entwerfen und produktiv zu betreiben.