ETH Zurich : Computer Science : Pervasive Computing : Distributed Systems : Education : Student Projects : Abstract

Objektauswahl und Formularerfassung mit Hilfe eines Visual-Code-Systems für Kamera-Mobiltelefone (D)

Status: Abgeschlossen

Ziel dieser Arbeit ist die Realisierung "physischer Hyperlinks" und die Erfassung gedruckter Formulare mit Hilfe eines Visual-Code-Systems für Kamera-Mobiltelefone. Der Erkennungsalgorithmus für die Visual Codes liefert nicht nur den Code-Wert, sondern auch die Position des anvisierten Punkts im Kamerabild und die Orientierung der Kamera relativ zum Code. Ausserdem kann die Bewegung des Mobiltelefons gegenüber dem Hintergrund ermittelt werden.

Bei der Objektauswahl sollen einzelne Bereiche im Kamerabild (z.B. Elemente einer Abbildung, Zeilen einer Tabelle oder Menüpunkte eines Menüs) mit Online-Informationen verknüpft werden. Mit diesen "physischen Hyperlinks" sollen dann "physische Menüs" und "physische Image Maps" (analog zu HTML Image Maps) aufgebaut werden. Anwendungsmöglichkeiten ergeben sich bei der Kopplung von gedruckten Dokumenten mit dynamischen Medien (z.B. Audio- oder Videodaten) und Online-Diensten (z.B. die Bestellung von Kino-Tickets ausgehend von einem Kinoprospekt), oder bei der Aktualisierung von schnell veraltenden Informationen durch Online-Inhalte (z.B. die in einer Zeitung abgedruckten Schneehöhen in verschiedenen Gebieten der Schweiz). Die Erkennung von Position und Orientierung der Kamera bietet vielfältige Interaktionsmöglichkeiten und erlaubt es, abhängig von der Haltung des Mobiltelefons verschiedene Informationsaspekte anzuzeigen.

Die Erfassung von Benutzereingaben in gedruckten Formularen ist ein weiterer Aspekt dieser Arbeit. Das System soll dabei neben dem Visual Code zur Identifikation des Formulars auch die Benutzereingaben in den verschiedenen Formularfeldern detektieren. Der drahtlose Kommunikationskanal des Mobiltelefons soll schliesslich genutzt werden, um die eingegebenen Daten einfach und kostengünstig zu versenden. Die Felder solcher durch Visual Codes erweiterten Formulare können "Checkboxen", "Slider", oder Bereiche für grafische oder handschriftliche Eingaben sein. Durch eine projektive Abbildung zwischen Bildebene und Code-Ebene, die der Code-Erkennungsalgorithmus liefert, kann die perspektivische Verzerrung der Bildelemente eliminiert und die Position der einzelnen Formularelemente präzise ermittelt werden.

Die Arbeit umfasst zunächst die Entwicklung einer Beschreibungssprache für physische Hyperlinks und erweiterte Formulare, mit der die Zuordnung beliebiger Bereiche zu Online-Informationen, die Auswahl verschiedener Informationsaspekte abhängig von der Kameraorientierung und die Position und der Typ der einzelnen Formular-Eingabeelemente beschrieben werden kann. Auf dem Mobiltelefon soll dann ein Parser für die Beschreibungssprache (in C++ unter Symbian OS) implementiert werden. Beschreibungen von "physischen Menüs" und erweiterten Formularen werden zunächst abhängig vom Wert des Codes von einem Server geladen und geparst. Auf dem Bildschirm werden dem Benutzer daraufhin grafische Hinweise auf die möglichen Eingaben angezeigt. Die interpretierten Interaktionen des Benutzers werden dann wieder an den Server zurückgeschickt. Schliesslich soll ein Java-Tool entwickelt werden, das Erstellung von physischen Image Maps und erweiterten Formularen auf dem PC erleichtert.