Projekt CardboardAR
Projektplan:
Basis (getestet):
Chrome -> Kamera, Spracherkennung, Sprachausgabe
PhoneGap -> Kamera nur über Zusatzmodule, Spracherkennung, Sprachausgabe
Backend:
Um in Chrome diverse Sicherheitsmeldungen zu übergehen ist es notwendig auf
einem Computer NodeJS mit einem Webserver (Https) laufen zu lassen. In Chrome
kann man dann den Zugriff auf Audio/Video dauerhaft aktivieren.
Diverse Aktionen werden über JamesV2 vom NodeJS Webserver an die jeweiligen
Komponenten wie FHEM übertragen. Für FHEM sollte aufgrund der Heizstatistik
ebenfalls Https aktiviert werden. Die Sourcen werden demnächst auf Github veröffentlicht.
Um eine Suche mit AR zu fahren wird der Searchserver3 verwendet, welcher ebenfalls
Bestandteil des JamesV2 ist
Umbau der Brille:
Um den Tragekomfort der Brille zu verbessern wurde das Trennpolster einer Notebooktasche
mit Klettverschluss vernäht. An der Brille wurde ebenfalls ein Klettverschluss angebracht (genäht).
Das System kann auf verschiedene Kopfgrößen angepasst werden.
Das Batterypack kann auf dem Trennpolster angebracht werden.
Für die Kamera wurde im vorderen Bereich der Brille ein loch ausgeschnitten, an dem die Kamera des Handys sitzt. (Pic #3)
Funktionsweise:
Der Body wird mittels Bootstrap in 2 Teilbereiche aufgeteilt, welche
beide den Stream der Webcam enthalten.
Der rechte Bereich wird mit Zusatzinformationen versorgt.
Hierzu gehören.
- Dauerhafter Status
- Batterie
- Zeit
- Datum
- Distanz
- Information (Notizen für max. 2 Sekunden)
- Spracherkennung Resultate
- Übersetzung (DE-EN)
- Marker-ID + FHEM Heizstatistiken
- Sprachausgabetext
- Joystick, Licht, Aktionen
- GeoLayer (ThreeJS 3D-Würfel per Orientierungssensoren)
- Der Boden des Würfels besteht aus der GMaps Karte (Bild von Geodaten)
- Nord, Süd Ost und West werden an den Seiten angezeigt.
- Die Decke besteht aus Wetterinformationen (Sonne, Blitz) Bild
- Videodaten (Diverse Overlays)
- QR Marker Detection (+Debug)
- Barcode Erkennung (+Debug)
- Gesichtserkennung/Handerkennung (offen, Faust)/Emotion
- Farberkennung
- Surf-Featureerkennung
Für manche Funktionen ist ein Arduino mit Schnittstellen erforderlich:
- Externe Komponenten:
| Anzahl | Bauteil | Beschreibung |
|---|---|---|
| 2 | Arduino | Basis für Komponenten |
| 2 | BT-Seriell | Kommunikation mit dem Backend |
| 1 | Ultraschall Distanz | Distanzmessung mit Ultraschall <2m |
| 2 | Infrarot Distanz | Distanzmessung Infrarot <10cm |
| 1 | Helligkeitssensor | Helligkeit für Licht IR Messen |
| 1 | LED-Leiste | LEDs zur Beleuchtung bei Dunkelheit 5V |
| 1 | IR-LED-Leiste | Infrarot-LEDs für Nachtsicht 5V |
| 1 | Joystick | Selektion im Menü |
| 1 | Touch-Sensor | Berührungsempfindlicher Touch-Sensor |
| 1 | Laser-Rot | Blickziel im Raum bestimmen (5mw) |
Librarys und APIs:
folgende APIs können für eine AR Applikation verwendet werden:
Basics:
| Library | Beschreibung |
|---|---|
| Bootstrap | Responsive Layout |
| Jquery | Toolkit, Must-have Javascript Funktion, Basis für Erweiterungen |
| UIKit | Toolkit, Informationen anzeigen, Basis für Erweiterungen |
| ThreeJS | 3D Darstellungen, Basis für Erweiterungen im Bereich VR |
| HeadJS | Async JS Loader |
| AWEJS | POIs |
Video:
| Library | Beschreibung | Speed | Rating |
|---|---|---|---|
| ArucoJS | QR-Marker | ***** | ***** |
| JSARToolKit | QR-Marker | ***__ | **___ |
| QuaggaJS | Barcodes | ***__ | **___ |
| TrackingJS | Gesichtserkennung, Farberkennung, SURF | ****_ | ****_ |
| JSFeat | Gesichtserkennung | ***** | ***** |
| HeadTrackrJS | Gesichtserkennung | *____ | *____ |
| JSHandTracking | Handerkennung | *____ | *____ |
| CLMTrackrJS | Gesichts- und Gestenerkennung | *____ | *____ |
| VideoTrackerJS | Gesichtserkennung | *____ | *____ |
| ObjectDetectJS | Objekterkennung | *____ | *____ |
| AugmentedGestureJS | Gestenerkennung | *____ | *____ |
| OrientationCursor | Maus aus Orientierungssensoren | *____ | *____ |
| LeapMotionJS | Mit LeapController | *____ | *____ |
| BabylonJS | 3D Library | *____ | *____ |
| Leflet | Interaktive Karten | _____ | _____ |
| AugmentedGestureJS | Gestenerkennung | _____ | _____ |
Künstliche Intelligenz:
| Library | Beschreibung | Speed | Rating |
|---|---|---|---|
| ConvnetJS | Künstliche Intelligenz | *____ | *____ |
| BrainJS | Künstliche Intelligenz | *____ | *____ |
APIs:
| API | Beschreibung |
|---|---|
| WeatherAPI | Yahoo Wetter-API |
| GMaps | Google Landkarte der Geoposition |
| Translation | Übersetzung |
| Picture API | Bilder in Bildern erkennen |
| Texterkennung | Api um aus Bildern Texte zu extrahieren (OCR.JS via EMScripten zu langsam) |
Erweiterungen(Ideen):
| Idee | Beschreibung |
|---|---|
| Marker merken | Nach dem Betrachten eines Markers ist dieser noch für 5 Sec zugreifbar |
| Video recording | Aufnehmen eines Videos |
| Image recording | Aufnehmen eines Bildes |
| Audio recording | Aufnehmen eines Tracks |
| Device Orientation | Die Neuausrichtung des Geräts blocken, wenn Querformat |
| Beleuchtung | Einschalten des Lichts bei Dunkelheit |
| Nachtsicht | Einschalten des IR-Strahlers bei Dunkelheit |
| Joystickmenu | Auswahl einer Funktion per Joystick |
| SS3 abfragen | Suchen und Suchergebnisse ausgeben (Bilder, Videos, Audio, Youtube, Geburtstage) |
Schaltvarianten (Möglichkeiten):
| Möglichkeit | Beschreibung |
|---|---|
| Kopfmaus | Per Orientierungssensor wird eine Maus auf 2 Button-Overlays gesteuert. Click durch >2 Sec auf Button |
| Langes Marker ansehen | Marker ist im Zeitraum von 5 Sec min 4 Sec erkannt worden (Switch) |
| Laserselektion | der Laserpunkt befindet sich auf dem Marker >2 Sec (Switch) |
| Fingerselektion | Marker wird durch Finger (Haar) überdeckt |
| Fingerselektion2 | Durch Bewegung des Fingers (Winkel) wird ein Befehl ausgelöst (Winkelsensoren Handschuh) |
| Handselektion | Hand offen = Ein, Hand Faust = Aus (Haar) |
| Handwinkelselektion | Hand nach unten = Ein, Hand nach oben = Aus (anhand Orientierungssensoren Handschuh) |
| Handschuhselektion | Handschuh Rot = Aus, Handschuh grün = Ein |
| Joystickselektion | Joystickmenü Ein/Aus/Temp |
| Touchpoint | Tippen = Ein / Doppeltippen = Aus |
| Wischbewegung | Durch IR-Distanz unten-oben = Ein, oben-unten = Aus |
| NFC-Switch | Schalten durch erkennung eines NFC-Tags |
AR-Handschuhe:
| Ausstattung | Beschreibung |
|---|---|
| linker Handschuh grün | ein grüner Handschuh dient als Einschalter |
| rechter Handschuh rot | ein roter Handschuh dient als Ausschalter |
| Winkelsensoren | Winkelsensoren können Befehle über Fingerbewegungen steuern |
| Orientierungssensoren | Orientierung der Hand für Schaltbefehle |
| NFC Tag-Reader | Mit Handschuh NFC-Tag berühren um Code auszulesen |
| Arduino | Erforderlich für Kommunikation mit dem Handschuh |
| Bluetooth Seriell | Kommunikation mit dem Backend |
JS-Funktionen:
| Funktion | Beschreibung |
|---|---|
| Timer | Zeitliche Steuerung (Marker-Reset), Uhrzeit, Datum |
| Camera Selector | Hintere Kamera als Default auswählen und Auflösung minimieren |
| Sprachausgabe | Chrome-API |
| Spracheingabe | Chrome-API |
| Orientierung | Chrome-API |
| Geosensoren | Chrome-API |
| Batterie | Chrome-API |
Links/Quellen:
| Funktion | Beschreibung |
|---|---|
| HTML5Rocks | Diverse Codeschnipsel |
| Simpl.info | Beispiele im Bezug auf HTML5 Elemente (JS-Funktionen) |
| Searchcode | Suche nach Codeschnipseln in Projekten |
