Vision-Erkennung bei Bestückungsautomaten

[Holle]

Uh das ist harter Tobak.
Einige der Links funktionieren übrigens nicht.

Zum Thema Kalibrieren (das ist einer der Links die nicht gehen):
Man kann eine Kalibrierscheibe nutzen, also ein Plättchen, welches eine fixe Größe hat. Diese wird dann über die Kamera gefahren als wenn es ein Bauteil wäre. Da die Größe bekannt ist braucht man nur die ermittelte Größe mit der realen Größe zu vergleichen und schon weiß man um wie viel Prozent die Größe abweicht. Den Rest kann man wieder errechnen.
Wenn man nun anstelle einer Kalibrierscheibe direkt die Nozzle verwendet würde das genau so gut gehen. Zudem würde man gleichzeitig einen Versatz in X und Y ermitteln können. Lediglich Theta kann man so nicht kalibrieren (zumindest nicht mit einer runden Nozzle, mit einer eckigen Nozzle würde sogar das gehen).

Zum Thema LEDs:
Ich würde es so versuchen, dass man Stränge bildet in der x LEDs in Reihe stromgesteuert betrieben werden. Jeder Strang bekommt eine eigene Stromsteuerung. Übersteuern würde ich die nicht. Zum einen gehen die dann schneller kaputt (verlieren an Leuchtkraft) und zum anderen werden die dann kaum noch heller. Wenn man z.B. eine 20mA LED mit 15mA betreibt bemerkt man fast keinen Unterschied zu 20mA. Nach oben hin wird der Unterschied immer geringer. Lieber ein paar LEDs mehr, und diese dann "normal" betrieben. Sollte dir das zu wenig Licht sein, dann könnte man auch auf Cree-LEDs ausweichen (dann wäre aber eine Schutzbrille ratsam ).
In den professionellen Maschinen sind rote LEDs eingesetzt. Keine Ahnung ob das nun ein besseres Licht für die Kamera ist, oder ob das andere Gründe hat, aber auf jeden Fall sind das rote Standard-5mm LEDs.
Wichtig ist auch dass diese aus verschiedenen Winkeln auf das Bauteil leuchten und diese separat in der Helligkeit eingestellt werden können, damit verschiedene Bauteile verschieden beleuchtet werden können.

Auf die Versuchsergebnisse mit der Kantenerkennung bin ich sehr gespannt.
Ach ja, es ist nicht nötig, das Bauteil nach einer Lagekorrektur nochmal zu scannen. Wenn ein Bauteil z.B. verdreht ist rechnet man es einfach um und fertig. Bei einem versetzten Bauteil sollte man ausrechnen ob die Nozzle möglicherweise übersteht und somit Luft ziehen kann (dann besser das Bauteil abwerfen, bevor es verloren geht). Wenn das Bauteil versetzt ist, aber die Nozzle nicht übersteht kann es auch einfach korrigiert und gesetzt werden, allerdings sollte dann die Theta-Geschwindigkeit reduziert werden, damit das Bauteil beim drehen nicht verrutscht. Alternativ kann man das Bauteil auch erst drehen, und danach scannen (dann muss halt das Bild umgerechnet werden).

[Holle]

Willst du die LEDs auf Lochraster-Platinen löten, oder hast du die Möglichkeit Platinen selber zu ätzen?
Meinst du nicht es wäre besser wenn man auf Standard 5mm LEDs setzen würde? Diese hätten deutlich mehr Leuchtkraft, folglich braucht man weniger und spart somit Geld und Arbeit.
Selbst in den aktuellen professionellen Bestückautomaten werden immer noch die 5mm LEDs eingesetzt, und da kommt es sicher nicht auf ein paar Euro an. Ich vermute dass die Ergebnisse damit einfach besser sind, sonst wäre man da sicher längst auf SMD-LEDs umgestiegen.

Es kommt aber auch sicher auf die benutze Kamera an. Vielleicht sind bei deiner Kamera auch weiße LEDs besser geeignet. Wenn du genug Geld hast kannst du auch Ultrahelle LEDs verwenden (dimmen kann man die ja immer noch).
Bevor du die LEDs im großen Stil kaufst solltest du ein kleinen Testaufbau machen (z.B. 10 LEDs) und die Ergebnisse vergleichen, bei welchen die Erkennung diverser Bauteile am besten ist (auch mit verschiedenen "Dimmstufen" arbeiten, weil heller nicht immer besser sein muss (abhängig vom Bauteil).

Den Bauteilkörper muss man übrigens nicht erkennen (wird in den professionellen Maschinen auch nicht gemacht, außer bei "Außenkontur-Erkennung", sprich bei Bein- und Anschlusslosen Bauteilen (z.B. SMD-Muttern).
Ansonsten reicht es aus die Beine/Anschlüsse zu erkennen (welche deutlich weniger Leuchtkraft benötigen, da diese ja stark reflektieren). Die Gehäusemaße sind eigentlich nur dazu da, dass die Berechnung der Beinpositionen stattfinden kann. Wenn man einen Bestücker hat, welcher mit mehreren Köpfen arbeitet sind die Bauteilmaße natürlich auch noch nötig im den Abstand zum Nebenkopf zu berechnen (z.B. Kopf 1 und 2 haben jeweils einen großen QFP an der Nozzle, dann könnten die Bauteile anstoßen, oder auch wenn die nebeneinander passen, dann könnten die bei der Drehung aneinander Stoßen). In solchen Fällen erkennt der Bestücker das automatisch und nimmt diese Bauteile nicht zusammen auf. Da hier aber von einem Bestücker mit nur einem Kopf die Rede ist wäre das sowieso egal.

Das A und O sind eine gescheite Bauteilerkennung. Diese ist ja nicht nur nötig um ein Bauteil gescheit auszurichten, sondern auch um defekte (z.B. stark verbogene Beine) zu erkennen.

[einballimwas]

Servus,


nein, natürlich schmeiße ich nicht nur rote LEDs auf die Platine! Die jetzige Kamera hat bei 630nm ihren maximalen Rotwert und die neue Kamera die ich mir ausgesucht habe (monochromatisch) bei etwa 530, also grün. Dem entsprechend überlege ich mir gerade ob und wie ich die LEDs mixen möchte. Vielleicht wird es statt rot auch einfach grün. Das ist das Problem der Farbkameras - zu nichts zu gebrauchen außer um Farbe zu erkennen. Vielleicht ist es wirklich besser keine SMD LEDs zu nehmen - Die THT Bauteile haben einen sehr viel kleineren Abstrahlwinkel, auch wenn mich die Durchstecktechnik ziemlich nervt. Sei es drum, nehme ich eben grüne LEDs - Passt genauso. (Ja, ich habe mich wirklich beim Schreiben der Antwort mitten im Satz umentschieden )
Bin gerade dabei die Bauteile zu platzieren und einen kleinen Microcontroller zu verbauen mit dessen Hilfe dann verschiedene Helligkeiten und Triggermodi eingestellt werden können. Morgen sollte der Blitz fertig sein, dann geht der Auftrag für fünf Platinen direkt raus.

Wieso will ich es so hell? Deswegen: http://placerbot.org/Testsetup/L6470...llax_error.jpg
Selbst mit Blende 14 ist die Tiefenschärfe noch so verdammt gering, dass es keinen Sinn hat, das Bauteil mit der Hand vor die Kamera zu platzieren. Ich möchte in der Lage sein bei Blende 22 ein gut ausgeleuchtetes Bild zu haben - Und selbst dann habe ich einen Fokusbereich von ~ 4mm in dem das Bauteil scharf ist. Viele Kameras sind eben auf Rot empfindlich, daher ist die Farbe ziemlich beliebt.

Die Funktionsweise der Kalibration ist mir klar - alleine die Umsetzung ist das Problem. Ich bin kein Programmierer und habe daher ziemliche Probleme die Library zum laufen zu bringen. Ständig wirft der Linker Fehler weshalb ich auch zu nichts gekommen bin außer hohem Blutdruck. Leider ist es nicht ganz so einfach wie du es dir vorstellst, dass man "nur" zwei Größen vergleicht. Schau dir mal diese Präsentation an, die erklärt das recht gut: http://cvpr.uni-muenster.de/teaching...librierung.pdf
Problematisch wird es dann wenn man noch die Verzerrungen durch das Objektiv herausrechnen "darf". Aber bei knappen 30mm dürfte das schon nicht mehr der Fall sein.

Der Scan nach der Lagekorrektur wäre lediglich zur Bestätigung und Fehleranalyse nötig. Je mehr Punkte man hat um die Position zu verifizieren desto besser. Vor allem am Anfang. Wenn man dann mehr Erfahrung mit der Erkennung hat kann man immernoch die Featureanzahl reduzieren.


Liest eigentlich noch jemand mit und möchte seinen Senf dazugeben? Wäre schön wenn das nicht nur ein Dialog bleiben würde!

[021aet04]

Ich lese interresiert mit, kann aber leider nichts dazu beitragen. Ich werde auch in näherer Zukunft keinen Automaten bauen. Habe noch zuviel andere Dinge fertig zu stellen und benötige zurzeit auch keinen.

Wenn ich weiterhelfen kann werde ich es auch machen, habe aber mit Kameras bzw deren Auswertung noch nichts gemacht, leider.

MfG Hannes

[Slowly]

Brauchst Du so etwas hier ?

Oder sowas?

[021aet04]

Danke für das Angebot, brauche es aber nicht. So ähnliche IR Module habe ich Zuhause, Kameras habe ich auch, sind aber normale Webcams. Die reichen finden den Anfang. Muss aber wie gesagt noch einiges fertig machen.

Werde es aber weiterhin interresiert mitverfolgen.

MfG Hannes

[einballimwas]

Finde ich wirklich schön, dass da noch Leute mitlesen!

Zwischenstand heute:

OpenCV läuft nun mit dem VisualStudio und ich konnte ein paar Tests machen. als Ausgangsbild habe ich die vorhandenen Bilder genutzt. Das Farbbild wird in ein Graustufenbild gewandelt welches dann auf zwei Farben umgesetzt wird. Dazu nutze ich momentan einen festgelegten Threshold der dann im fertigen Programm irgendwann in der Kalibrierung automatisch ermittelt werden soll. auf das Bild wende ich dann die Kantendetektion an, die mir über die Matrix eine halbwegs gerade Linie zieht. Resultat:

Graustufen: http://placerbot.org/OpenCV_test/L64...front_grey.jpg
Graustufen mit Sobelfilter (Nicht verwendet, nur zur Anschauung): http://placerbot.org/OpenCV_test/L64...grey_sobel.jpg
Schwarzweiß mit Threshold 120/255 : http://placerbot.org/OpenCV_test/L64...blackWhite.jpg
Sobel über SW Bild: http://placerbot.org/OpenCV_test/L64...hite_sobel.jpg

Wenn man den Chip richtig beleuchtet und das Lineal wegnimmt (ohne das stand der Chip leider nicht - die Nozzle wird schon alleine aufgrund der Schärfentiefe nicht mehr zu sehen sein) dann lässt sich da einiges machen. Ich muss sagen dass ich sehr zufrieden mit dem Ergebnis der Spielerei bin. Hätte mit diesem schlechten Ausgangsbild nicht annähernd so gute Ergebnisse erwartet.

Für die Erkennung muss man sich dann noch die Region of Interest (ROI) heraussuchen und eine Beschreibungsdatei plus zugehöriger Datenstruktur ausdenken. Dann kann es an die Centroid Detection und den Algorithmus zur Kantendetektion gehen. Vielleicht hat OpenCV da auch etwas in Petto das ganz gut funktioniert. Das würde es um einiges einfacher machen! Später ist erstmal der Blitz dran

Code (Schlimm, ich weiß - War aber sehr auf Ergebnisse erpicht!):

    // Matrices to store the image file    
    Mat original, greyScale, blackWhite, sobelImg, blackWhiteSobel;


    // Params to save the images as jpeg
    vector<int> jpegParams;
    jpegParams.push_back(IMWRITE_JPEG_QUALITY);
    jpegParams.push_back(100);
    string fileName = "examples/L6470_light_front.jpg";


    // Read the input file
    original = imread(fileName);
    cvtColor(original, greyScale, COLOR_RGB2GRAY);


    //Save greyScale image
    imwrite("output_grey.jpg",greyScale,jpegParams);


    blackWhite = greyScale > THRESHOLD;
    namedWindow("Converted to BW image", WINDOW_AUTOSIZE);
    imshow("Converted to BW image", blackWhite);
    imwrite("output_blackWhite.jpg", blackWhite, jpegParams);


    Sobel(blackWhite, blackWhiteSobel, blackWhite.depth(), DERIVATIVE, DERIVATIVE, SOBELSIZE, 1, 0);
    namedWindow("Sobel applied to BW image", WINDOW_AUTOSIZE);
    imshow("Sobel applied to BW image", blackWhiteSobel);
    imwrite("output_blackWhite_sobel.jpg", blackWhiteSobel, jpegParams);


    
    Sobel(greyScale, sobelImg, greyScale.depth(), DERIVATIVE, DERIVATIVE, SOBELSIZE, 1, 0);
    imwrite("output_grey_sobel.jpg", sobelImg,jpegParams);




    waitKey(0);


    return 0;