Technologie

Drei Lösungen, eine Regel:Daten reisen nicht weiter als nötig.

Am Schalter läuft die Erkennung im Gebäude. Zuhause auf dem Gerät. Die eInk-Labels hören nicht zu und filmen nicht: sie bekommen eine fertig gesetzte Seite und zeigen sie.

Blockschema

Wo die Erkennung läuft.

Keiner der beiden Wege verlässt den Perimeter, in dem das Gespräch stattfindet.

Schalterstation

Organisationen: Gemeinden, Gesundheitswesen, Banken, Postämter, Apotheken.

Perimeter: das Gebäude

  1. Mikrofone der StationTonaufnahme am Schalter, auf beiden Seiten.
  2. Thin Client8-Zoll-Display und 5-Zoll-Bedienmodul.
  3. Lokales Netz des GebäudesKeine Route nach außen.
  4. On-Premise-Server, NVIDIA-CUDA-PlattformErkennung, Entitätsextraktion, Übersetzung und Zusammenfassung.

Die gesamte Inferenz findet im Gebäude statt. Kein Ton, kein Bild und kein Text verlässt es. Keine Internetverbindung erforderlich.

Gerät für zuhause

Persönlicher Gebrauch, tragbar.

Perimeter: das Gerät

  1. Integrierte MikrofoneAufnahme im häuslichen Umfeld.
  2. Edge-KI, Qualcomm-DragonWing-PlattformDie Modelle laufen an Bord, auf dem neuronalen Prozessor: Erkennung und Sprechertrennung.
  3. Bildschirm und RGB-LEDsText mit einer Farbe pro Stimme, Meldung von Umgebungsgeräuschen.

Der Ton verlässt das Gerät nie. Integrierter Akku, kein Konto, kein Netz erforderlich.

eInk-Label

Seniorenheime und Gemeinschaftsräume.

Perimeter: der Dienst und das Haus

  1. Kalender und E-Mails des HeimsMenü, Veranstaltungen, Geburtstage: die Quellen, die das Personal ohnehin nutzt.
  2. Der Dienst setzt die SeiteEr wählt die Vorlage der Gruppe und erzeugt das Bild.
  3. Das Label zeigt sieEs empfängt das Bild, zeichnet es und schläft wieder ein.

Das Label rechnet nichts und hat weder Mikrofon noch Kamera: es zeigt, was das Heim ohnehin an die Tafel hängt.

Der KI-Teil

Spracherkennung, wo sie gebraucht wird.

Nicht jede unserer Lösungen trägt ein Modell in sich: die eInk-Labels gar keines. Am Schalter und zuhause schon, und die Aufteilung ist immer dieselbe: der Client nimmt auf und zeigt an, er entscheidet nicht und speichert nicht.

  1. Zwei Clients, zwei Umsetzungen

    Am Schalter läuft der Client auf ESP32, in den beiden Displays. Zuhause ist es eine Linux-Anwendung auf dem Gerät selbst. In beiden Fällen tut er dasselbe: Ton und Video aufnehmen — das Video braucht die Gebärdenspracherkennung —, Text anzeigen, eine Berührung entgegennehmen.

  2. Wo ein Server steht, sind die Modelle größer

    Die Schalterstation stützt sich auf den On-Premise-Server, und das erlaubt größere Erkennungsmodelle: weniger Wortfehler und Satzzeichen an der richtigen Stelle. Erst die Satzzeichen machen einen Text lesbar statt entzifferbar.

  3. Zuhause alles an Bord

    Auf dem Gerät für zuhause sind die Modelle schlanker und schneller: die Edge-KI-Hardware übernimmt Erkennung, Sprechertrennung und bei Bedarf die Erkennung von Umgebungsgeräuschen. Weniger Parameter, geringere Latenz, kein Server, den man erreichen muss.

  4. Nicht nur ein Modell

    Neben der Erkennung arbeiten die Sprechertrennung, die Extraktion von Entitäten — Adressen, Telefonnummern, Beträge, Daten — und die Übersetzung. Daraus entsteht die Zusammenfassung am Ende.

  5. In Prüfung: Auracast

    Für Museen, Konferenzräume und Hörsäle prüfen wir Auracast (Bluetooth LE Audio): eine einzige Übertragung, die jede Person mit kompatiblem Hörgerät oder Kopfhörer empfangen kann — ohne Kopplung und ohne jemanden fragen zu müssen.

  6. Auf den Kontext abgestimmte Modelle

    Die Modelle lassen sich auf das wiederkehrende Vokabular des Ortes trainieren: Formulare, Abläufe und interne Bezeichnungen werden besser erkannt, als ein generisches Modell es könnte.

Praktische Folgen

Was eine lokale Architektur bringt.

  1. Keine Abhängigkeit von Konnektivität

    Der Dienst hört nicht auf, wenn die Leitung ausfällt, und braucht vor Ort keine garantierte Bandbreite.

  2. Keine Weitergabe an Dritte

    Es gibt keinen externen Anbieter, der Ton oder Text erhält — also auch keinen Vertrag, dem man vertrauen müsste.

  3. Vorhersehbare Latenz

    Der Weg von Ton zu Text bleibt im lokalen Netz, ohne Hin und Zurück zu einem entfernten Dienst.

  4. Erweiterbares Ökosystem

    Ein On-Premise-Server bedient zwei bis sechs Stationen: sie kommen dazu, wenn sie gebraucht werden, und ab der siebten kommt ein zweiter Server dazu, ohne die Installation neu aufzubauen.

Die eInk-Labels

Elektronisches Papier: Pigment statt Licht.

Das Bild besteht aus Pigment, das das Licht des Raums zurückwirft, wie Tinte auf einem Blatt, und es bleibt auch ohne Strom stehen. Ab da ist die Arbeitsteilung strikt: der Dienst bereitet die Seite vor, das Label zeigt sie.

  1. Gesetzt wird stromaufwärts

    Die Seite wird einmal auf dem Server gesetzt, und das Label bekommt ein fertiges Bild. Das Design zu ändern ist ein Eingriff auf dem Server: es gibt kein Update, das an die Geräte verteilt werden müsste.

  2. Strom nur beim Wechsel

    Elektronisches Papier zieht Strom in dem Moment, in dem sich das Bild ändert; dazwischen schläft das Gerät. Deshalb genügt eine Batterie, und das Label hängt dort, wo keine Steckdose ist.

  3. Wie sie sich verbinden

    Die Labels nutzen das WLAN des Hauses. Für Bereiche ohne WLAN — Gärten, Nebengebäude — prüfen wir ein LoRa-Meshtastic-Netz, das die Geräte untereinander aufbauen, ohne auf die Infrastruktur des Hauses angewiesen zu sein.

  4. Gewöhnliche Bauteile

    Die Labels basieren auf ESP32 und Raspberry Pi Zero, mit Spectra-6-Farbdisplays: standardisierte, dokumentierte, beschaffbare Teile.

  5. Die Wand bleibt auch offline lesbar

    Fällt das Netz aus, zeigt das Label weiter die zuletzt empfangene Seite: elektronisches Papier braucht keinen Strom, um sichtbar zu bleiben.

Das LoRa-Meshtastic-Netz wird evaluiert: es gehört nicht zu dem, was wir heute installieren.