Wir bauen Scraper und Parser, die Daten aus Websites, Feeds und Dokumenten holen und sauber übergeben: Tabelle, Datenbank, CRM oder Telegram-Bot. Der erste Lauf ist leicht. Schwer ist der hundertste: die Website ändert das Layout, blockiert Anfragen oder listet denselben Eintrag dreimal. Genau darauf legen wir unsere Scraper aus. Umfang und Preis stehen fest, bevor wir beginnen.
Sagen Sie uns, welche Daten Sie brauchen
Ein Scraper ist schnell geschrieben, aber schwer am Laufen zu halten
Ein Skript, das eine Seite abruft, funktioniert an dem Tag, an dem es geschrieben wird. Im Betrieb trifft ein Scraper auf Portale, die wiederholte Anfragen blockieren, Layouts, die sich ohne Vorankündigung ändern, dasselbe Inserat von drei Maklerbüros und Preise, die erst interessant werden, wenn sie sich bewegen. Deshalb planen wir das von Anfang an ein: Drosselung und Rotation der Anfragen, Warnungen, wenn eine Quelle keine Daten mehr liefert, Deduplizierung und ein Protokoll, was sich wann geändert hat.
Was wir entwickeln
- Inserate- und Preismonitoring – neue Einträge, Preissenkungen und Bestandsänderungen über Portale und Onlineshops hinweg, mit einer Benachrichtigung, wenn sich etwas bewegt, das Sie beobachten.
- Crawler – durchlaufen nach Zeitplan eine ganze Website oder einen Katalog und halten Ihre Kopie aktuell.
- Datenparsing – Dokumente, Feeds und unordentliche Exporte (PDF, XML, CSV, HTML) werden zu einer Tabelle in einem Format.
- Datenübergabe dort, wo Sie arbeiten – eine Tabelle, Ihre Datenbank, ein CRM, eine API oder ein Telegram-Bot mit Zugriffskontrolle und Admin-Bereich.
- KI, wo Regeln nicht mehr ausreichen – unstrukturierte Texte und Dokumente auslesen, mit menschlicher Prüfung, wo das Modell unsicher ist. Mehr zu KI-Integrationen.
Saubere Daten ohne Duplikate und Lücken
Rohdaten aus dem Scraping sind voller Kopien und Lücken. Wir führen Duplikate zusammen (dieselbe Wohnung bei mehreren Maklerbüros, dasselbe Produkt unter drei Namen), bringen Preise, Datumsangaben und Adressen in ein einheitliches Format und markieren Datensätze, denen fehlt, was Sie brauchen. All das geschieht, bevor die Daten bei Ihnen ankommen.
Projekte in diesem Bereich
- Bot für Immobilieninserate (Polen). Sammelt neue Inserate von einem Immobilienportal, entfernt Duplikate und verfolgt Preissenkungen. Abonnenten bekommen sie in Telegram, mit Zugängen pro Nutzer, Admin-Bereich und Statistiken. Läuft seit Monaten jeden Tag.
- LinkedIn → ClickUp (Estland). Eine Browser-Erweiterung, die Profildaten aus LinkedIn in den ClickUp-Workspace eines Teams überträgt.
Was wir nicht entwickeln
Keine Scraper, die den Schutz einer Website umgehen, um an Daten zu gelangen, die sie verbirgt. Keine personenbezogenen Kontaktdaten von Menschen in der EU ohne Rechtsgrundlage. Keine gefälschten Konten. Braucht eine Quelle einen Login, eine offizielle API oder eine Datenvereinbarung, sagen wir das zu Beginn. Davon hängt ab, ob das Projekt sauber betrieben werden kann.
So funktioniert es
- Quellen und Felder. Sie zeigen uns die Websites oder Dateien und was Sie daraus brauchen.
- Ein Testlauf mit einer Stichprobe, damit Sie echte Daten sehen, bevor Sie sich festlegen.
- Fester Umfang und Preis, einschließlich der Frage, wie oft der Scraper läuft und wohin die Daten gehen.
- Entwicklung, Go-live und Monitoring. Wir achten auf ausgefallene Quellen und reparieren sie im Rahmen eines Supportvertrags.
Fragen zu Scraping-Projekten
Ist Web-Scraping legal?
Öffentlich zugängliche, nicht personenbezogene Daten zu sammeln ist in der Regel unproblematisch. Die Grenze ist überschritten, wenn Schutzmaßnahmen umgangen werden, Nutzungsbedingungen ignoriert werden, wo sie Sie binden, oder personenbezogene Daten ohne Rechtsgrundlage gesammelt werden (in der EU die DSGVO). Wir prüfen jede Quelle zu Beginn und sagen offen, wenn eine davon ein Risiko ist.
Was passiert, wenn sich die Website ändert?
Der Scraper warnt uns, wenn eine Quelle keine Daten mehr liefert oder sie in neuer Form liefert. Im Rahmen eines Supportvertrags beheben wir das. Ohne Vertrag wird eine Korrektur nach Stunden abgerechnet.
Brauche ich Proxys?
Nur für Quellen, die wiederholte Anfragen begrenzen. Wenn sie nötig sind, läuft der Proxy-Dienst über Ihr Konto und wird von Ihnen bezahlt. Wir sagen Ihnen, was er kostet, bevor Sie entscheiden.
Wie erhalte ich die Daten?
Dort, wo Sie ohnehin arbeiten: Google Sheets, Ihre Datenbank, eine API, ein CRM oder ein Telegram-Bot. Code und Daten gehören Ihnen.
Welche Daten brauchen Sie?
Die Quellen, die Felder und wie oft. Wir melden uns mit einem Test an einer Stichprobe und einem Festpreis.
Schreiben Sie uns
