Mitarbeiter in den Abteilungen ASP, Projects und Research als Data Engineer, Full-Stack-Developer und System Engineer.
Data Engineering
Als Teamleiter Data Engineering verantwortlich für Deployment, Betrieb und Ausbau eines verteilten, Java-basierten Webcrawler-Stacks auf mehreren Hosts mit Integration verschiedener interner Services. Der standardisierte Onboarding-Flow für neue Quellen – bestehend aus Metadaten-Erfassung, Scraping-Konfiguration per eigenem Webservice und Crawler-Konfiguration – ermöglichte die Einbindung einer neuen Quelle in unter 20 Minuten (Bestzeit).
Seit 2021 Aufbau eines modularen Crawling-Stacks mit Python, Containerisierung, Monitoring, Notifications, automatischer Textübersetzung, NLP/KI-Integration und API-Bereitstellung.
Entwicklung und Betrieb einer Crawling-Architektur mit bewusst minimaler Belastung der Quell-Hosts: individuelle Crawl-Intervalle, Priorisierung nach Relevanz und Aktualität statt sequenzieller Domainlistenabarbeitung. Einhaltung von robots.txt, Rate Limiting und User-Agent-Policies als Standard; volle Transparenz durch Verlinkung einer Crawler-Infoseite direkt im User-Agent-String.
Generelle Datentransformation und -filterung; Integration von Kunden- und Projektdaten in Datenströme; Bereitstellung aufbereiteter Daten für verschiedene Auftraggeber, Projekte sowie interne Abteilungen für Entwicklung und Test.
Highlights
- Crawling zur Aufdeckung illegaler Ferienwohnungsnutzung für das Bezirksamt Berlin-Mitte – Projekt mit breiter medialer Berichterstattung
- Datenverarbeitung für das BSI
- Volltext-Suchmaschine über mehrere GB nautischer Gerätedokumentation verschiedener Hersteller (überwiegend PDF)
- Beteiligung an mehreren News-Aggregator-Projekten, darunter ein News-Index mit über 31 Millionen Dokumenten
- Bis zu ca. 2.000 gecrawlte Quellen; Crawler-Betrieb 24/7 über mehr als 10 Jahre
- Beteiligung an über 20 Kunden- und Forschungsprojekten
- Dreimalige Beteiligung an der Umsetzung der Firmenhomepage, davon einmal als Hauptverantwortlicher
E-Commerce und CMS
Umsetzung von WordPress- und Shopware-Projekten, inklusive Frontend, Backend, Deployment und Betrieb; Shopware-Zertifizierungsworkshop in Schöppingen.

