Mein Dissertationsthema zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften (DR.-ING.) lautet:

Intelligente Codes auf Basis von sensorischen Tinten mittels Smart Devices
und ihre Evaluierung über das Internet der Dinge

Abstrakt

Die automatisierte Produktidentifikation und Datenerfassung setzt seit vielen Jahren maschinenlesbare Codes ein, die sich unter anderem in der Produktion, Materialwirtschaft und Logistik aufgrund ihrer hohen optischen Speicherdichte und schnellen sowie effizienten Lesbarkeit etabliert haben. Die binären Speicherinhalte eines Codes werden mithilfe von optischen Lesegeräten oder dafür entwickelten Applikationen ausgelesen. Ein solcher Code beinhaltet statische, sich nicht verändernde Inhalte. Diese Art der Codes wird vielfach auf verpackten Waren appliziert. Im Zusammenhang mit einer immer besser werdenden Verfolgung des Weges von Waren bis an ihren Bestimmungsort steigt die Bedeutung dynamischer und somit sekundärer Daten. Solche Daten können bspw. Auskunft über den Zustand von Waren, wie während des Transports, geben. Anhand dynamischer Daten kann bspw. nachverfolgt werden, ob und inwieweit ein Packgut während seiner Transporthistorie schädlichen Umwelteinflüssen ausgesetzt war und, im Fall von Lebensmitteln, ob die verpackte Ware weiterhin für den Verzehr geeignet ist. Für den Einsatzzweck der Erfassung von äußeren Einflussfaktoren werden vermehrt Indikatoren eingesetzt, die bspw. auf temperatur- oder feuchtigkeitsempfindlichen Farbmitteln basieren. Diese Indikatoren werden auf ein Haftpapier zum Applizieren auf eine Ware oder direkt auf eine Verpackung gedruckt. Der Einsatz dieser Indikatoren gibt jedoch häufig lediglich eindimensionale Aussagen über jeweils einen Einflussfaktor Auskunft und ist nicht für weitere Indikatoren erweiterbar. Im Rahmen dieser Dissertation wird ein mehrdimensionales Sensorsystem entwickelt. Dieses beruht auf einem mehrdimensionalen und erweiterbaren, intelligenten Code. Der eigens entwickelte intelligente Code wird mit mehreren sensorischen Tinten, anhand des kontaktlosen Inkjetdrucks auf ein geeignetes Haftpapier appliziert und auf seine spezifischen Eigenschaften hin untersucht. Grundlage dieses Sensorsystems sind die aus unterschiedlichen sensorischen Farben bestehenden dynamischen Bereiche. Diese dynamischen Bereiche umranden den statischen Code, der aus dieser Kombination hervorgehend als intelligenter Code fungiert und bei Bedarf (On-Demand) über eine serverseitige Leseapplikation mittels eines Endgeräts (Smart Device) erfasst, analysiert und ausgewertet wird. Zu den Smart Devices zählen bspw. Smartphones, Tablets, Smart Glasses und weitere kommunikationsfähige Endgeräte. Diese können mithilfe der in den Smart Devices integrierter Kameras den intelligenten Code erfassen und die erfassten Informationen, mittels Internet der Dinge – miteinander vernetzte Objekte in einem autonomen Netzwerk – austauschen. Für das Erfassen, Analysieren und Auswerten des intelligenten Codes stellt der Benutzer On-Demand mittels Smart Device eine Verbindung zum Server her. Hierzu wird über eine lokale Client-Applikation (Thin Client), welche sich standardmäßig auf dem Smart Device befindet, eine Remote-Verbindung zur serverseitigen eigens entwickelten Leseapplikation (Client-Server-Model) aufgebaut. Die Leseapplikation wiederum greift verschlüsselt auf die integrierte Kamera des Smart Devices zu, wobei die Codeerfassung, Analyse und Datensicherung über das maschinelle Sehen (Computer Vision) erfolgt. Die Serveranwendung berücksichtigt die Spezifikationen und Anforderungen der unterschiedlichen Smart Devices verschiedenster Fabrikate. Hierdurch ist der Leseprozess geräteunabhängig und dynamisch einsetzbar.

Eckdaten

DOI: https://doi.org/10.25926/yqb2-0w50
Stichwörter: Sensorische Tinten, Inkjet, 2D-Code, Computer Vision, Smart Device, Colormanagement
Promotionsantrag am: 30.12.2020
Datum der Promotion: 18.05.2021
Veröffentlichung am: 12.07.2021
Urkunde erhalten am: 03.09.2021
Abrufbar (Bibliothek Universität Wuppertal): [Externer Link]; Alternativ (ResearchGate): [Externer Link]

Software

Die entwickelte Webanwendung der Leseapplikation (Abb. 1) für das Detektieren des intelligenten Codes weist eine WebRTC Struktur auf, die HTML5, CSS und JavaScript integriert. Dabei können clientseitige Browser über eine standardisierte WebRTC-API und eine entsprechende HTTP(S)-Anfrage eine Echtzeitkommunikation aufbauen. Durch das Extrahieren einzelner Frames aus dem Datenstrom der Kameras können die Bilder (Frames) im nächsten Schritt mit Computer Vision weiterverarbeitet werden. Somit kann über die clientseitige Endgerät-Kamera auf die Leseapplikation zugegriffen werden und bei Bedarf der intelligente Code ausgelesen und analysiert werden.

Abrufbar: [Externer Link]

Intelligenter Code / Smart Code

Der QR-Code als einer der bekanntesten 2D-Codes sticht mit seinen drei großen quadratischen Suchmustern markant hervor. Es finden sich jedoch auch Codetypen, wie der Grid Matrix Code oder der EZcode, die ebenfalls klare quadratische Grundformen als Suchmuster aufweisen. So ist es nicht untypisch, dass vermehrt quadratische Formen als Suchmuster verwendet werden, die sich anhand einer höheren Robustheit und geringeren Fehleranfälligkeit auszeichnen. In Abb. 2 werden dazu quadratische Suchmustervariationen vorgestellt, auf deren Weiterentwicklung das Suchmuster des intelligenten Codes basiert. Hierzu wurden die entworfenen Variationen nach drei Teilbereichen in die Suchmuster (schwarz), die statischen Bereiche für Daten (grau) und die dynamischen Bereiche für sensorische Farben (grün) unterteilt und randomisiert angeordnet. So war es das Ziel, eine Form zu identifizieren, die einen zentriert-gebündelten statischen Bereich aufweist, in dem sich der Datenbereich klar erkennbar und von anderen Bereichen abgegrenzt. Ferner sollte die Anordnung und Anzahl der Suchmuster wenig Fläche verbrauchen, der Ausleseprozess der dynamischen Bereiche erleichtert und dafür eine relativ große Fläche bereitgestellt werden. Entsprechend dieser Kriterien wurde die vorletzte Variante (Abb.2, vorletzte Form unten rechts) ausgewählt, die wiederum durch das Streichen eines Suchmusters, ähnlich dem Vorbild des QR-Codes, auf drei Suchmuster reduziert wurde, um möglichst viele dynamische Bereiche für sensorische Farben bereitzustellen. Das fehlende vierte Suchmuster kann jedoch durch die Koordinaten der drei anderen Suchmuster berechnet werden.

Nachdem diese Suchmusteranordnung als geeignetste identifiziert wurde, wurde ein Gestaltungsraster (Abb. 3) auf Basis von 29 x 29 Modulen entwickelt, wobei jeweils ein Modul (kleinstes Element) eine Abmessung von 3 x 3 mm aufweist (Abb. 3, links). Die quadratische Form des intelligenten Codes ermöglicht eine vereinfachte Separierung der jeweiligen Segmente für eine spätere Analyse. Die Abmessung eines Moduls ist dabei die kleinste sowie sicher zu erfassende Größe des entwickelten Algorithmus. Das Design des Gestaltungsrasters und die Modulgröße beeinflussen dabei die Anordnung der Komponenten (wie bspw. Suchmuster) des intelligenten Codes. Die Suchmuster basieren auf 5 x 5 Modulen und werden von 11 Modulen (nicht mit Daten besetzt) in Form einer Ruhezone umrandet. Sie dienen der Abgrenzung und besseren Erkennbarkeit durch den eingesetzten Algorithmus (Abb. 3, rechts). Zwischen den Ruhezonen befinden sich dynamische Bereiche (je 17 Module lang), die aus 12 Feldern, mit jeweils vier Modulen, für sensorische Farben bestehen. Einen Ausnahmefall bildet aufgrund des Wegfalls eines Suchmusters dabei der dynamische Bereich unten links, der aus 28 Feldern je vier Modulen besteht. Die Ruhezonen zwischen den Feldern mit je vier Modulen bedingen die ungerade Zahl des Gestaltungsrasters (29 x 29 Module).

Der intelligente Code (Abb. 4) entstand in einem iterativen Prozess und wurde unter Anwendung des eingesetzten Algorithmus schrittweise optimiert und angepasst. Dieser Prozess ist interdependent zum einen zu der Auswahl der Algorithmen für das Computer Vision und zum anderen zu der Kompatibilität des oben behandelten Gestaltungsraster mit dem eingerichteten Algorithmus. So ist der abgebildete intelligente Code das Ergebnis dieses iterativen Prozesses. Der intelligente Code weist im dynamischen Bereich verteilt drei verschiedene eigens entwickelten sensorische Farben auf. Besonders hervorzuheben sind die Suchmuster, die neben ihrer Funktionalität als Identifikationsmarker, die Funktion als Sensoren aufweisen. Des Weiteren finden sich in der unteren linken Ecke des intelligenten Codes vier verschiedene Graustufenfelder, die für einen Algorithmus zur Helligkeits- und Kontrastanpassung verwendet werden. Das Zentrum des intelligenten Codes (17 x 17 Module) nimmt in Form eines Data-Matrix-Codes statische Daten auf.

Außerhalb des intelligenten Codes dient eine Ruhezone mit einem Weißraum sowohl der einwandfreien Erfassung des intelligenten Codes als auch als Referenzfeld für die Eigenfarbe des Substrats zum Zwecke der Farbkorrektur seitens des dazu entwickelten Algorithmus. Dieses spezielle Design macht den intelligenten Code sehr robust. Denn auch bei einem potenziellen Ausbleichen bzw. Entfärben der dynamischen Bereiche ist das verbleibende statische Gerüst (schwarze Module) hinreichend markant, um den Code zuverlässig zu erfassen und auszulesen. Beispielweise neigt gerade die ursprünglich intensiv blaue hydrochrome Farbe bei massivem Kontakt mit Wasser zum Entfärben, welches ohne das statische Gerüst, zum Verlust des Suchmusters führen würde.