Skip to main content

Pobieranie elementów z pojemników: prawdziwe wyzwanie dla robotów

Ines Ugalde Diaz | Wynalazcy Roku Siemens | Nowicjusz

Niektóre zadania są łatwe dla ludzi, ale bardzo trudne dla robotów, a pobieranie elementów z pojemników jest jednym z nich. Roboty muszą być w stanie wybrać pojedynczy element z pojemnika zawierającego nieposegregowaną, chaotycznie ułożoną stertę części, podobnie jak stertę paczek.

Ines Ugalde Diaz i jej zespół w Berkeley (USA) od ponad sześciu lat rozwijają systemy sterowania robotami i dotychczas stworzyli ponad 40 wynalazków. Ines została wyróżniona tytułem Wynalazcy Roku 2024 w kategorii Nowicjusz za rozwiązanie do pobieranie elementów z pojemników, które można elastycznie dostosować do różnych narzędzi chwytających robotów. Ten konkretny wynalazek został wybrany, ponieważ stanowi zalążek kolejnej generacji Siemens SIMATIC Robot Pick AI. Pick AI prezentowano na licznych targach branżowych, w tym na Targach Hannover w Niemczech wiosną 2024 rok.

Chwytanie próżniowe

Osoba stojąca przed tablicą suchościeralną pokrytą schematami i odręcznymi notatkami dotyczącymi rozpoznawania i klasyfikowania obiektów 3D.

Wiele robotów chwytają przedmioty poprzez wytworzenie próżni. Na końcu ramienia robota (tzw. narzędzia końcowego) stosuje się jedną lub kilka przyssawek, które wytwarzają próżnię na przedmiocie, umożliwiając jego uchwycenie. Aby to zadziałało, przyssawki muszą dotknąć optymalnie płaskiej, gładkiej i nieporowatej powierzchni. Istnieje wiele wariantów przyssawek o różnych rozmiarach i kształtach, z prostokątną lub kwadratową podstawą oraz z jedną lub wieloma przyssawkami.

„Nasz nowy wynalazek ułatwia stosowanie chwytaków próżniowych w różnych rozmiarach i konfiguracjach. Decyzja należy do klienta, czego dokładnie potrzebuje” – wyjaśnia Ines. „To w zasadzie bardzo unikalny aspekt naszego produktu, który wyróżnia nas spośród wszystkich konkurentów”.

Porządkując chaos

W chaotycznej zawartości pojemnika poszczególne elementy leżą na sobie w losowych orientacjach przestrzennych. Robot musi najpierw rozpoznać strukturę tego chaosu: zidentyfikować, gdzie dany element się zaczyna i kończy oraz zrozumieć jego położenie, aby znaleźć odpowiednie miejsce do pewnego uchwycenia. Niezbędne dane – aktualny obraz zawartości pojemnika – dostarcza kamera 3D. Algorytmy sztucznej inteligencji, wytrenowane do rozróżniania poszczególnych obiektów na tych obrazach, stanowią podstawę do sterowania ramieniem robota.

Ulepszanie standardowego oprogramowania

Nagrodzony wynalazek opiera się na rozumieniu sceny, w szczególności na rozróżnianiu pojemnika i poszczególnych obiektów. Zwykle określa się to mianem „segmentacji instancji” – standardowego problemu w uczeniu maszynowym i wizji komputerowej. Istnieje już wiele wstępnie wytrenowanych modeli do tego zadania, korzystających z milionów przykładów. Modele te są skuteczne, ale zbyt ogólne i popełniają błędy w scenariuszach pobierania elementów z pojemników. Ines i jej zespół poprawili wydajność tych standardowych rozwiązań do zadowalającego poziomu, zapewniając im dodatkowe szkolenie na specjalistycznych zestawach danych, np. pochodzących z rzeczywistych danych z istniejących komórek robotycznych Pick AI.

Osoba pracująca przy biurku z dwoma monitorami komputerowymi wyświetlającymi kod, z ramieniem robota widocznym na pierwszym planie.

Udostępnianie danych dla lepszej wydajności

Ręka wskazuje na ekran komputera, na którym wyświetlany jest kolorowy obraz cyfrowy z zielonym znacznikiem potwierdzającym pomyślne przetworzenie danych.

„Nasze rozwiązanie zostało zaprojektowane tak, aby działało w każdym zakładzie klienta, ponieważ trenowaliśmy je na ogromnych zestawach danych pochodzących zarówno ze źródeł syntetycznych, jak i rzeczywistych” – dodaje Ines. „Sprawdza się świetnie w przypadku pudełek, butelek i worków, a także wtedy, gdy element jest owinięty folią plastikową. Zasadniczo klienci nie powinni odczuwać żadnego pogorszenia wydajności, ale jeśli się to zdarzy, mogą pozwolić modelom uczyć się na podstawie swoich błędów. Jest to część naszej strategii dotyczącej produktu. Przygotowujemy się do wprowadzania dużych zestawów danych z flot robotów do chmury Siemens, która ma możliwość wykorzystania przypadków błędów do ulepszenia naszego produktu – nie tylko dla jednego klienta, ale dla wszystkich klientów, którzy wyrażą zgodę na współdzielenie danych.” Wdrożone ulepszenia nie tylko zwiększają wydajność, ale także ujawniają nowe przypadki zastosowań. „Pokazaliśmy, że przy minimalnym wysiłku możemy zmodyfikować oprogramowanie, aby poradziło sobie z całkowicie nowymi zastosowaniami, w tym z robotycznym depaletyzowaniem” – wyjaśnia Ines. Pick AI stanowi rdzeń nowo wdrożonej komórki robotycznej do depaletyzacji w jednym z magazynów produkcyjnych Siemens w Erlangen w Niemczech. Dzięki tym danym zespół przesuwa granice możliwości manipulacji robotów.