Kinect = "3D-Kamera"!

[Günter49]

Opensource-Treiber für Kinect.
Entfernungsinformation und zugehörige Farben mit einem Gerät für 150€!!!

Mit den opensource-Treibern für Kinect werden Träume wahr. Jetzt kann der Roboter wirklich sehen.
Gerade bei heise.de gefunden:
http://www.heise.de/newsticker/meldung/Open-Source-Treiber-fuer-Kinect-veroeffentlicht-1135025.html
Wer die Videos ohne Umweg über heise sehen möchte:
Linux:
http://www.youtube.com/user/marcan42
Windows:
http://codelaboratories.com/projects/kinect/
Jetzt wird bei den Roboter-Entfernungssensoren ein ganz neues Spiel gespielt. Bisherige RGB-D-(TOF)Kameras waren für den Hobbybereich unbezahlbar. Siehe:
z.B. Mesa (ca. 9000$)
http://www.mesa-imaging.ch/
oder PMD
http://www.pmdtec.com/

Was man mit solchen Kameras machen kann, findet man zB. hier:
http://www.hizook.com/blog/2010/03/28/low-cost-depth-cameras-aka-ranging-cameras-or-rgb-d-cameras-emerge-2010
Dieter Fox (Intel Labs)
http://ils.intel-research.net/projects/rgbd-mapping-modeling
Die Videos zum Download auf dieser Seite sind ziemlich üppig (>30MB)

http://www.cs.washington.edu/ai/Mobile_Robotics/projects/rgbd-3d-mapping/
und ein zugehöriger Aufsatz:
http://ils.intel-research.net/uploads/papers/henry-RGBD10-RGBD-mapping.pdf

Ich freue mich auf schöne neue Zeiten.

Gruß, Günter

[Felix G]

Ja, das ist schon ne feine Sache...
zwar kein TOF sondern Triangulation (daher eher für kurze Entfernungen geeignet), aber günstiger gehts tatsächlich kaum (jedenfalls nicht mit satten 30fps)

[Manf]

Das ist wirklich sehr schön.
So ganz habe ich noch nicht die Übersicht über die Parameter.

Es wäre schön damit einmal einen Kopf, ein Gesicht, von vorne
aufzunehmen und dann im Profil zu zeigen.
Oder was könnte man sich sonst noch so ausdenken?

Sicher, eine Reihe von Hindernissen im Raum vereilt von vorne aufnehmen die Positionen berechnen und dann mit der Aufnahme von oben vergleichen.

[Günter49]

Nun gibt es auch Kinect-Treiber für das Opensource RoboterOperatingSystem ROS
http://www.ros.org/news/
direkt zu den Videos


http://www.youtube.com/watch?v=jQgnuupBUI4


http://www.youtube.com/watch?v=IxRIL1izvDs


http://www.youtube.com/watch?v=FbzrDJMyWYg


Nach der Stichwortsuche im Roboternetz habe ich noch keinen Beitrag zu ROS gefunden und ROS wäre einen eigenen Thread wert.
Das freie Roboterbetriebssystem läuft auf Ubuntu Linux und wird von dem amerikanischen Roboterunternehmen WillowGarage ( http://www.willowgarage.com/ ) unterstützt. Mittlerweile tragen viele Unternehmen und Universitäten (in Deutschland z.B. TU München, BOSCH, …) eigene Entwicklungen zu dem Betriebssystem bei. So findet man fertige Pakete zu SLAM, Roboterarmsteuerung, Bildanalyse (OpenCV) und vieles mehr. Als Hardware stand am Anfang der PR2-Roboter von Willow Garage. Auch hier hat sich die Basis verbreitert und es gibt „Stacks“ für NAO, LegoNext, Roboard, Q.bo usw.. Ein schönes Beispiel für einen kleinen Roboter eines Hobbyisten auf dem ROS läuft ist „pi-Robot“ http://www.pirobot.org/ .

Gruß, Günter

[Günter49]

Auch die Bildverarbeitungssoftware "RoboRealm" hat in der neuesten Version ein Kinect-Modul:
http://www.roborealm.com/help/Microsoft_Kinect.php

Da ich mit RoboRealm arbeite (Windows, C#-Schnittstelle u.a., und wirklich sehr umfassende und leicht zu bedienende Bildverarbeitungsmöglichkeiten) ist das eine besonders erfreuliche Nachricht. Morgen hole ich mir so ein Kinect-Teil. Vielleicht geht Microsoft doch noch gegen die Kinect-Hacks gerichtlich und/oder hardwaremäßig vor und dann ist erst mal wieder eine Weile Pause mit den schönen, neuen Sensormöglichkeiten.
Wenn ich erste Erfahrungen habe werde ich hier berichten.

Gruß, Günter

[robo.fr]

Sehr interessant, aber wo kann man die Kinect-Kamera kaufen?

[Günter49]

(edit: Hat sich erledigt. Das weiß ich auch noch nicht so genau. Besonders wenn jemand einen Laden in Kassel kennt, der das Gerät vorrätig hat, wäre das sehr hilfreich.)
Sonst kann man es bei den üblichen Anbietern bestellen. Von Amazon über Conrad bis ....
http://www.idealo.de/preisvergleich/OffersOfProduct/1733765_-kinect-sensor-kinect-adventures-xbox-360.html.
Der Preis richtet sich wohl auch danach, welche Software beigepackt ist.
Und in Frankreich gibt es Kinect noch etwas günstiger:
http://www.idealo.fr/prix/1733765/kinect-sensor-kinect-adventures-xbox-360.html
Gruß, Günter

[Günter49]

Ein schönes Beispiel was man mit Kinect auf einem mobilen Roboter mit einer Funkverbindung zu einem Host-PC machen kann.
http://www.youtube.com/watch?v=dRPEns8MS2o&feature=player_embedded
gefunden auf:
www.botjunkie.com
zugegeben: Er hat auch noch einen Laserscanner auf dem Roboter ;)

Gruß, Günter

[ranke]

Die Printausgabe der "Süddeutschen Zeitung" berichtet heute (20./21. November 2010, Seite 24, "Das Superauge") von der geplanten Vermarktung eines optischen Sensors, der seine Umgebung dreidimensional erfassen kann. Es handelt sich offensichtlich um einen Zeilen- bzw. Flächensensor, der nach dem time-of-flight Prinzip arbeitet.
Der Sensor ist offenbar noch nicht serienreif, aber in der Erprobung bei interessierten Industriekunden. Ein Preis von "deutlich unter 50 Euro" bei Großserienfertigung wird genannt.
Näheres: www.tridicam.de

[Speaka]

Vielleicht geht Microsoft doch noch gegen die Kinect-Hacks gerichtlich und/oder hardwaremäßig vor und dann ist erst mal wieder eine Weile Pause mit den schönen, neuen Sensormöglichkeiten.


Ich denke, dass sie es rechtlich versuchen werden aber hardwaretechnich können sie an einmal gebauten und und ausgelieferten Kinect-Kameras nichts mehr ändern. Bei neueren Ausgaben könnte es dann evt. wieder etwas dauern, bis ein Treiber verfügbar ist aber mit der aktuellen Version ist würde ich sagen einiges machbar.

[Günter49]

@ranke
Es ist erfreulich, dass auch in Deutschland an solchen Entwicklungen und ihrer Vermarktung gearbeitet wird. Was dann ein fertiges Gerät (128x96 Pixel Auflösung) und nicht nur der CMOS-Sensor kosten wird, bleibt abzuwarten. Der tridicam-Sensor allein kostet etwa so viel wie die gesamte in Kinect verbaute Hardware:
http://www.pcgameshardware.de/aid,799328/Microsoft-Kinect-Hardware-im-Wert-von-41-Euro-verbaut/Konsolen/News/

@Speaka
Offensichtlich hat sich Microsofts Haltung zu den Kinect-Hacks etwas entspannt:
http://www.futurezone.at/stories/1664566/



Wer mit Kinect arbeiten will, findet nützliche Informationen auf
http://openkinect.org/wiki/Main_Page
und den dort angegebenen links, z.B. Formeln zur Umrechnung der Kinect-Daten in Längeneinheiten (cm), Hardwaredaten zur Spannungsversorgung, Kalibrierung von RGB-Daten und Depth-Daten usw.

Gruß, Günter

[ranke]

Der tridicam-Sensor allein kostet etwa so viel wie die gesamte in Kinect verbaute Hardware

Ich interpretiere den Zeitungsartikel über tridicam so, dass die genannten Kosten "deutlich unter 50 Euro" für ein Gesamtsystem gelten, nicht für den Sensorchip alleine. Allerdings in Großserie als Verkaufspreis an Industriekunden. Die Kosten für die Hardware müssen dann also deutlich niedriger liegen. Wie und zu welchem Preis das System für den Privatabnehmer verfügbar wird, steht derzeit in den Sternen. Das System ist ja noch nicht erhältlich, im Gegensatz zu kinect.

Interessant finde ich den anderen Lösungsansatz von tridacam (time-of-flight), während kinect, soweit ich es verstanden habe mit Objekterkennung und Triangulation arbeitet. Beide Systeme sollten also ihre systembedingten Stärken und Schwächen haben.

[Ls4]

TOF Kameras habe ich bereits im Einsatz gesehen. Die funktionieren absolut genial, liefern aber keine Farbinformation sondern tatsächlich nur Tiefeninformationen. Auch ist die Auflösung bei vielen Systemen noch sehr gering, aber das wird schon

Viele Grüße,

Tim

[Markus4004]

TOF Kameras habe ich bereits im Einsatz gesehen. Die funktionieren absolut genial, liefern aber keine Farbinformation sondern tatsächlich nur Tiefeninformationen.


Die Kameras von PMDtec liefern nicht nur Tiefeninformation, sondern auch die Helligkeit. Denn das ist ja einfach die Summe der beiden Subpixel.

TOF Kameras müssen ihr Sichtfeld beleuchten. Das tut man typischerweise mit IR-Licht, damit es nicht stört, aber das muss nicht so sein. Man könnte die Szene ja auch abwechselnd mit rotem/grünen/blauen Licht beleuchten und hat dann ein Farbbild. Da allerdings die Auflösung dieser Kameras kleiner ist die von normalen Kameras, wäre es vielleicht sinnvoller zusätzlich eine zweite Kamera zu nehmen und deren Bild dann auf die Tiefeninformation zu mappen.

[Ls4]

Hallo Marcus,

handelt sich tatsächlich um die Kameras von PMDTec.
Diese beleuchten ihr Sichtfeld mt Infrarotlicht. Für die Anwendung, in der das eingesetzt wurde war die Farbe aber bisher völlig unerheblich. Dennoch wurde zur Kontrolle der erkannten Objekte eine normale Digitalkamera eingesetzt, damit man evaluieren konnte welche Objekte gerade erkannt wurden. Zum Tracking von Markern kam auch noch ein ARTrack zum Einsatz.

Viele Grüße,

Tim

[Günter49]

Da hier offensichtlich Erfahrungen mit den TOF Kameras von pmdtec vorliegen, zwei Fragen:

1. Was kostet eine PMDTec CAMCUBE 3.0 mit IR-Beleuchtung?

2. Welchen Vorteil gegenüber KINECT (640x480 RGB, mind. 320x240 Tiefenbild, 150€) bietet die TOF Technologie?
Wenn man nur die mit KINECT erstellten Filme auf YouTube anschaut und mit den Bildern/Filmen von Mesa oder PMDTec vergleicht, ist der praktische Vorteil der TOF-Technologie nicht gleich offensichtlich.

Gruß, Günter

[Ls4]

Hallo Günter,

ich kenne mich nicht genau damit aus. Das war in einem anderen Projekt. Ich hab nur mal einen Blick drauf geworfen. Eigesetzt wurden die S3. Zum CamCube kann ich überhaupt nichts sagen. Die S3 kosten aber soweit ich das in Erinnerung habe im 4 stelligen Bereich.

TOF arbeitet anders wie Kinect nicht mit Triangulation. Theoretisch hat man durch die Messung der Laufzeit eine größere Genauigkeit bezüglich der Tiefeninformation. Wie weit sich das in der Praxis auswirkt kann icht nicht sagen.
TOF hat natürlich auch Nachteile. Der Reflexionsgrad der Objekte ist natürlich auch von Bedeutung bei PMD. Das Problem hat Kinect aber wohl auch.
Der größte Nachteil gegenüber Verfahren nach dem Triangulationsverfahren ist natürlich die Auflösung.

Theoretisch sollte die Genauigkeit bei TOF weniger Entfernungsabhängig als bei Verfahren nach dem Triangulationsprinzip sein.

Gruß Tim

[Günter49]

Tim, vielen Dank für die schnelle Auskunft

Günter

[just4fun]

Wer mit Kinect arbeiten will, findet nützliche Informationen auf
http://openkinect.org/wiki/Main_Page
und den dort angegebenen links, z.B. Formeln zur Umrechnung der Kinect-Daten in Längeneinheiten (cm), Hardwaredaten zur Spannungsversorgung, Kalibrierung von RGB-Daten und Depth-Daten usw.

Hi Günter,

danke für den Link. Habe mir das Teil auch geshopt und unter Mac OS X und Debian Linux zum laufen bekommen. Hier ein erster Eindruck:
http://www.direcs.de/node/162

Gruß,

Markus

[Günter49]

@ Markus

Habe Deinen Bericht eben erst gefunden. Das Ergebnis ist schon sehr beeindruckend. Mit welchem Programm hast Du die Punktwolke dargestellt?
Ich komme leider nicht richtig voran, da der OpenKinect-Treiber unter Windows und damit der C#-Wrapper noch nicht sicher funktionieren.

Weiterhin viel Erfolg,
Günter

[just4fun]

Danke. Leider ist das Programm nicht auf meinem Mist gewachsen, habe es aber schon modifizieren können, dass es die Entfernung zum größten Hindernisses in der Nähe anzeigt. Wie das geht, steht hier:
http://www.direcs.de/node/163

Das beantwortet dann auch deine Frage; denn ich habe dazu die Open Source Treiber OpenKinect genutzt: http://openkinect.org/wiki/Main_Page
Und das Programm ofxKinect ( https://github.com/ofTheo/ofxKinect ) und openFrameworks ( http://openframeworks.cc/ ).

[Günter49]

Obwohl OpenFrameworks auch unter Windows läuft, scheint das ofxKinect addon nur unter Linux und OS X zu laufen. Auch wenn’s schwer fällt, ich sollte mich wohl langsam mal auf den Weg zu Linux machen. Trotzdem vielen Dank für die Auskunft!

Günter

[just4fun]

Oh Mist, ja. In der readme zu ofxKinect steht es:
ofxKinect is an Open Frameworks addon for the Xbox Kinect that runs on Linux and OS X.

Sorry, das hatte ich nicht gesehen.

Aber unter openkinect.org stehen keinerlei Hinweise, dass es unter Windows nicht stabil läuft (so generell), oder? Weil du das oben erwähntest?

Und die Beispiele unter https://github.com/OpenKinect/libfreenect/tree/master/examples sollten doch auch unter Windows laufen, oder (funktionierende lib vorausgesetzt)?

[ronik]

Hallo Günter,

auf Roborealm ist von einer Windows Version die Rede

http://www.roborealm.com/help/Microsoft_Kinect.php

hast Du das mal ausprobiert, lief es?



hat jemand von Euch mal getestet wie genau die Maschine absolut und relaitv ist?

Gruss
Norbert

[Günter49]

@ ronik
Vielen Dank für den Hinweis. Ich benutze das RoboRealm-Modul zur Zeit mit Kinect, weil es für mich der einfachste Weg ist, die Kinectdaten in eigenen Programmen zu nutzen.
edit: Läuft bei mir nur unter XP. Unter Vista läuft das RR-Modul bei mir nicht.

Zur Genauigkeit kann ich noch nicht viel sagen. Vielleicht ein bis zwei cm bei einem Abstand von 1,5m. Das Beispiel von Oliver Kreylos, in dem er eine Kinect-Verpackung auf einen halben cm genau ausmisst, konnte ich so genau nicht nachvollziehen. Bei mir blieb ein Unterschied von einem cm zur tatsächlichen Länge. Allerdings verwendet er auch eine pfiffigere Software zum Messen. Er mappt das RGB-Bild auf die 3D-Punktwolke und zoomt dann genau auf die Messpunkte.
http://www.youtube.com/watch?v=f1ieKe_ts0k&feature=player_embedded

Gruß,
Günter

[ronik]

Hallo Günter,

Vielen Dank für die schnelle hilfreiche Antwort.

klingt leider als würde es auch nicht unter Win 7 laufen.. oder? Egal, notfalls wird eben XP draufgebügelt.

Auch das Video läuft bei mir leider nicht richtig...

Bisher dachte ich kinect liefert die Tiefendaten direkt. Scheint aber, als hätte Oliver Kreylos das besser gemacht. Beschreibt er das irgendwo? Habe es in diesem Thread nicht gefunden.

Gruss
Norbert

[Günter49]

RoboRealm sagt, dass das Kinect-Modul unter XP, Vista und Win7 laufe, wenn man ihre jeweilige Installationsanleitung befolge.
http://www.roborealm.com/help/Microsoft_Kinect.php
hier ein RR-Forumsbeitrag von Mel, der es nach langen Versuchen unter Win7 erfolgreich zum Laufen gebracht hat:
http://www.roborealm.com/forum/index.php?thread_id=3899#

Kinect gibt die Tiefen-Daten als 11bit Wert aus. RR setzt das in RGB-Daten um, auf die man über die Variable „KINECT_DEPTH“ von anderen Programmen zugreifen kann.

Die ROHtiefe errechnet sich dann aus den RGB-Werten : RAWdepth = G * 256 + R (B immer = 0)
Für die Umrechnung der ROHwerte in gebräuchliche Längeneinheiten (m, mm, ...)
gibt es im Netz verschiedene Formeln:
z.B. in m:
http://nicolas.burrus.name/index.php/Research/KinectCalibration
oder meine eigene am Ende des folgenden RR-Forums-Threads:
http://www.roborealm.com/forum/index.php?thread_id=3865#

Gruß, Günter

[ronik]

Hallo Günter,

herzlichen Dank für die umfassende Antwort! Na dann bestelle ich mal fröhlich..

Gruss
Norbert

[just4fun]

Bei OpenKinect wurde das Windows Tutorial ebenfalls aktualisiert [ungeprüft]:
http://openkinect.org/wiki/Getting_Started_Windows

[Günter49]

Vielen Dank für den Hinweis.
Wenn ich die Openkinect-Installationsanweisungen für Windows lese, bleibe ich lieber erst mal bei RoboRealm. Das reicht für meine Zwecke hin und ist viel leichter zu nutzen. Und Vista kann libnect/libusb wohl immer noch nicht.

Gruß, Günter

[just4fun]

Gerne.
Kann ich verstehen. ;-)

[fat tony]

Besteht die Möglichkeit Kinect unter Visual Studio einzubinden ?

[Günter49]

Schau mal hier:
mit OpenNI_Treiber:
http://www.studentguru.gr/blogs/vangos/archive/2011/01/28/kinect-and-wpf-getting-the-raw-and-depth-image-using-openni.aspx
http://www.studentguru.gr/blogs/vangos/archive/2011/02/09/kinect-and-wpf-painting-with-kinect-using-openni.aspx
oder hier mit OpenKinect-Treiber:
http://www.switchonthecode.com/tutorials/kinect-tutorial-hacking-101

Irgenwann im Frühjahr soll es auch ein SDK von Microsoft geben:
http://www.heise.de/newsticker/meldung/Microsoft-will-SDK-fuer-Kinect-veroeffentlichen-1194466.html

Gruß, Günter

[Günter49]

Ein beeindruckendes Beispiel was mit KINECT und geeigneter Software möglich ist, kann man auf der Website von Nicolas Burrus finden:
http://nicolas.burrus.name/index.php/Research/KinectRgbDemoV5
Mit einem handgeführten KINECT-Sensor erstellt er eine Punktwolke,die nicht nur die Entfernungsdaten, sondern auch die auf die Punkte gemappten RGB-Daten darstellt.
Es entsteht eine farbige 3D-Abbildung des umgebenden Raumes. Viel mehr kann man von einem 150€ Sensor für einen Roboter nicht verlangen.
Nicolas stellt seine Software diesmal auch mit Windows-Binaries zur Verfügung, so dass man nicht mehr nur mit Linux damit arbeiten kann. Ich hab's noch nicht ausprobiert, freue mich aber schon aufs Wochenende.

Gruß, Günter

[Günter49]

Jetzt hab ich die Windows-Demo von Nicolas mal ausprobiert. Die nötigen Treiber (OpenNI, Kinect und Nite) liefert er gleich mit. Die Installation in der von ihm angebenen Reihenfolge hat auf Anhieb funktioniert - wenn man mal davon absieht, dass ich erst nach einer halben Stunde gemerkt habe, dass ich trotz blinkender KINECT-LED vergessen hatte zusätzlich die 12V Spannungsversorgung für die KINECT einzuschalten.
Die Punktwolke für die Beispielbilder ist in diesem ersten Versuch durch Drehen der KINECT mit festem Neigungswinkel um ca. 40° auf einem Stativ zustande gekommen.
Die Demosoftware kann die entstandene Punktwolke im .ply-Format speichern, d.h. sie kann mit der Opensource 3D-Software Meshlab dargestellt und bearbeitet werden.
http://meshlab.sourceforge.net/ (gibt's auch für Windows). Die verschiedenen Kameraperspektiven der Beispielbilder sind durch Drehen der Ansicht in Meshlab entstanden. Meshlab kann auch in der 3D-Punktwolke messen. Dafür hatte ich einen 50cm Stahlmaß auf dem Tisch liegen. Das Messergebnis ist erstaunlich genau.


1836218361


Gruß, Günter

[Günter49]

MIT Quadrotor mit KINECT-Sensor erstellt 3D-Karte im Überflug:
http://groups.csail.mit.edu/rrg/index.php?n=Main.VisualOdometryForGPS-DeniedFlight

Gruß, Günter

[Günter49]

Habe gerade im heise-newsticker gesehen, dass Microsoft endlich das KINECT-SDK für Windows-PC ins Netz gestellt hat:
http://www.heise.de/newsticker/meldung/Fuer-Hobby-Entwickler-und-Forschung-Microsoft-veroeffentlicht-SDK-fuer-Kinect-1262087.html

Wer ohne Umweg über heise zu den SDK-links möchte:
http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/

http://channel9.msdn.com/coding4fun/kinect/

Gruß, Günter

[Günter49]

Ich hoffe nicht, dass der Roboternetz-Bot, der auch golem.de auswertet, schon darüber berichtet hat. Ist zwar schon 10 Tage her, aber wer es wie ich damals verpasst hat, wird sich das Video vielleicht doch gern ansehen:
http://www.golem.de/1108/85683.html
Für Roboter mit PC oder Verbindung zu einem PC ist Kinect mit entsprechender Software der ultimative Sensor. Für 150€ gibt es sonst nichts, das eine 3D-Karte der Umgebung mit Farb/Texture Information darstellen könnte. Für fahrende Roboter sicherlich interessant, dass die 3D-Rekonstruktion auch mit „verwackelten“ Eingangsdaten funktioniert, wie es in dem Video gezeigt wird.
Weitere Videos zu Kinect Fusion von Microsoft Research findet man hier:
http://www.engadget.com/2011/08/09/microsofts-kinectfusion-research-project-offers-real-time-3d-re/

Ein Aspekt des Kinect Sensors, der bisher wenig beachtet wurde, ist das eingebaute Mikrophon-Array. Auf einem Roboter kann das Array zur Spracherkennung/-Steuerung eingesetzt werden. Im Microsoft Kinect-SDK findet man Beispiele dazu.
Über das Mikrophon-Array lässt sich auch die Position (besser: Richtung) eines Sprechers lokalisieren:
http://channel9.msdn.com/coding4fun/kinect/Kinect-Audio-Positioning

Gruß, Günter