Hoe machine vision de automatisering bevordert

Machine vision is een verzameling van technologieën die (al dan niet industriële) geautomatiseerde apparatuur op basis van beelden inzicht geven in de directe omgeving. Zonder machine-vision software zouden digitale beelden niet meer zijn dan eenvoudige, niet met elkaar verbonden pixelverzamelingen met verschillende kleurwaarden en toonintensiteiten voor dergelijke apparatuur. Machine vision laat computers (meestal verbonden met machinebesturingen) randen en vormen in dergelijke beelden detecteren, zodat verwerkingsroutines op een hoger niveau voorgedefinieerde interessante objecten kunnen identificeren. Beelden in deze zin zijn niet noodzakelijk beperkt tot fotografische beelden in het zichtbare spectrum; zij kunnen ook beelden omvatten die zijn verkregen met behulp van infrarood-, laser-, röntgen- en ultrasone signalen.

Afbeelding 1: Het gebruik van machine vision voor meer geavanceerde robottoepassingen neemt toe. (Bron afbeelding: John6863373 | Dreamstime.com)

Een vrij gebruikelijke machinekijktoepassing in industriële omgevingen is het identificeren van een specifiek onderdeel in een bak met een willekeurig gerangschikte (door elkaar gehusselde) mix van onderdelen. Hier kan machine vision helpen bij het automatisch oppakken van het juiste onderdeel. Natuurlijk zou het herkennen van dergelijke onderdelen met beeldterugkoppeling betrekkelijk eenvoudig zijn als ze allemaal netjes gerangschikt en op dezelfde manier georiënteerd op een blad zouden liggen. Robuuste machine vision-algoritmen kunnen echter objecten herkennen op verschillende afstanden van de camera (en dus van verschillende grootte op de beeldsensor) en in verschillende oriëntaties.

De meest geavanceerde machine vision-systemen hebben nieuwe en opkomende ontwerpen mogelijk gemaakt die veel geraffineerder zijn dan bin picking - misschien niet herkenbaarder dan in autonome voertuigen bijvoorbeeld.

Afbeelding 2: Machine vision geeft (al dan niet industriële) systemen inzicht op hoog niveau in een omgeving op basis van beelden. (Bron afbeelding: Wikimedia)

Technologieën met betrekking tot machine vision

De term machine vision wordt soms gereserveerd voor meer gevestigde en efficiënte wiskundige methoden om informatie uit beelden te halen. De term computer vision daarentegen beschrijft doorgaans modernere en rekenintensieve systemen, waaronder black-box-benaderingen waarbij gebruik wordt gemaakt van machinaal leren of kunstmatige intelligentie (AI). Machine vision kan echter ook dienen als een verzamelterm voor alle methoden voor het extraheren van informatie op hoog niveau uit beelden; in deze context beschrijft computer vision de onderliggende werktheorieën.

Technologieën om betekenis op hoog niveau uit beelden te halen zijn er in overvloed. Binnen de onderzoeksgemeenschap worden dergelijke technologieën vaak beschouwd als verschillend van machine vision. In praktische zin zijn het echter allemaal verschillende manieren om machinevisie te realiseren ... en in veel gevallen overlappen ze elkaar.

Digitale beeldverwerking is een vorm van digitale signaalverwerking die beeldverbetering, -restauratie, -codering en -compressie omvat. Voordelen ten opzichte van analoge beeldverwerking zijn onder meer minimale ruis en vervorming en de beschikbaarheid van veel meer algoritmen. Een van de eerste toepassingen voor beeldverbetering was de correctie van de eerste beelden van het maanoppervlak op korte afstand. Daarbij werd gebruik gemaakt van fotogrammetrische kartering, ruisfilters en correcties voor geometrische vervormingen als gevolg van de uitlijning van de beeldcamera met het maanoppervlak.

Afbeelding 3: De DLPC350-controller met geïntegreerd circuit (IC) levert input- en output-triggersignalen voor het synchroniseren van weergegeven patronen met een camera. Het werkt met digitale micromirrorapparaten (DMD's) die zijn ontworpen om industriële, medische en beveiligingsapparatuur van 3D-machinevisie te voorzien. De toepassingen omvatten zowel 3D-scanning als metrologiesystemen. (Bron afbeelding: Texas Instruments)

Digitale beeldverbetering omvat vaak het verhogen van het contrast en kan ook geometrische correcties aanbrengen voor kijkhoek en lensvervorming. Compressie wordt gewoonlijk bereikt door een complex signaal te benaderen met een combinatie van cosinusfuncties - een soort Fouriertransformatie die bekend staat als een discrete cosinetransformatie of DCT. Het JPEG-bestandsformaat is de populairste toepassing van DCT. Beeldrestauratie kan ook gebruik maken van Fouriertransformaties om ruis en onscherpte te verwijderen.

Fotogrammetrie gebruikt een soort kenmerkidentificatie om metingen uit beelden te halen. Deze metingen kunnen 3D-informatie bevatten wanneer meerdere beelden van dezelfde scène vanuit verschillende posities zijn verkregen. De eenvoudigste fotogrammetriesystemen meten de afstand tussen twee punten in een beeld met behulp van een schaal. Hiervoor is normaal gesproken een bekende schaalreferentie in het beeld nodig.

Met kenmerkdetectie kunnen computers randen en hoeken of punten in een beeld identificeren. Dit is een vereiste eerste stap voor fotogrammetrie en de identificatie van objecten en beweging. Blobdetectie kan regio's identificeren met randen die te glad zijn voor rand- of hoekdetectie.

Patroonherkenning wordt gebruikt om specifieke objecten te identificeren. In het eenvoudigste geval betekent dit het zoeken naar een specifiek welbepaald mechanisch onderdeel op een transportband.

3D-reconstructie bepaalt de 3D-vorm van objecten uit 2D-beelden. Dit kan worden bereikt met fotogrammetrische methoden waarbij de hoogte van gemeenschappelijke kenmerken (geïdentificeerd in beelden van verschillende waarnemingspunten) wordt bepaald door driehoeksmeting. 3D-reconstructie is ook mogelijk met behulp van een enkel 2D-beeld; hier interpreteert de software (onder andere) de geometrische relaties tussen randen of schaduwgebieden.

Afbeelding 4: 3D-scanners leggen 2D-beelden van een voorwerp vast om er een 3D-model van te maken. In sommige gevallen worden de digitale modellen vervolgens gebruikt om kopieën in 3D af te drukken. (Bron afbeelding: Shenzhen Creality 3D Technology Co.)

Een mens kan met gemak een kubus reconstrueren uit een eenvoudige lijntekening - en een bol uit een gearceerde cirkel. De arcering geeft een indicatie van de hellingen van de oppervlakken. Het proces van die aftrek is echter ingewikkelder dan het lijkt, omdat schaduw een eendimensionale parameter is, terwijl helling in twee dimensies voorkomt. Dit kan leiden tot dubbelzinnigheden - een feit dat wordt aangetoond door kunst die fysiek onmogelijke objecten afbeeldt.

Afbeelding 5: Het computergestuurd bepalen van de 3D-vorm van een werkstuk aan de hand van een 2D-beeld is een hele uitdaging.

Hoe machine vision-taken worden geordend

Veel machine vision-systemen combineren geleidelijk de bovengenoemde technieken door te beginnen met operaties op laag niveau en dan één voor één over te gaan naar operaties op hoger niveau. Op het laagste niveau worden alle pixels van een afbeelding opgeslagen als gegevens met hoge bandbreedte. Vervolgens identificeert elke bewerking in de reeks beeldkenmerken en vertegenwoordigt zij interessante informatie met relatief kleine hoeveelheden gegevens.

De lage bewerkingen van beeldverbetering en -restauratie komen eerst, gevolgd door kenmerkdetectie. Wanneer meerdere sensoren worden gebruikt, kunnen bewerkingen op laag niveau derhalve worden uitgevoerd door gedistribueerde processen die zich op afzonderlijke sensors richten. Zodra kenmerken in afzonderlijke beelden zijn gedetecteerd, kunnen fotogrammetrische metingen van een hoger niveau plaatsvinden - net als objectidentificatie of andere taken die afhankelijk zijn van de gecombineerde gegevens van meerdere beelden en sensors.

Directe berekeningen en leeralgoritmen

Een directe berekening in de context van machine vision is een reeks wiskundige functies die handmatig worden gedefinieerd door een menselijke programmeur. Deze accepteren inputs zoals beeldpixelwaarden om outputs te verkrijgen zoals de coördinaten van de randen van een object. Leeralgoritmen daarentegen worden niet rechtstreeks door mensen geschreven, maar getraind via voorbeelddatasets die inputs associëren met gewenste outputs. Zij functioneren dus als zwarte dozen. De meeste van dergelijke machine learning maken nu gebruik van deep learning op basis van kunstmatige neurale netwerken om hun berekeningen te maken.

Afbeelding 6: Beeldsensors uit de iVu-serie kunnen werkstukken identificeren op basis van type, grootte, locatie, oriëntatie en kleur. De machine vision-componenten kunnen worden geconfigureerd en bewaakt via een geïntegreerd scherm, een HMI op afstand of een PC. Camera, controller, lens en licht zijn allemaal vooraf geïntegreerd. (Bron afbeelding: Banner Engineering Corp.)

Eenvoudig machine learning voor industriële toepassingen is vaak betrouwbaarder en minder rekenintensief als het gebaseerd is op directe berekening. Natuurlijk zijn er grenzen aan wat met directe berekening kan worden bereikt. Het kan bijvoorbeeld nooit de geavanceerde patroonherkenning uitvoeren die nodig is om personen aan de hand van hun gezicht te identificeren, vooral niet van een video-opname van een drukke openbare ruimte. Machine learning daarentegen kan dergelijke toepassingen goed aan. Geen wonder dat machine learning steeds vaker wordt ingezet voor machine vision-bewerkingen op een lager niveau, zoals beeldverbetering, -restauratie en -detectie.

Verbetering van onderwijsmethoden (geen algoritmen)

De ontwikkeling van deep learning-technologie heeft duidelijk gemaakt dat niet de leeralgoritmen zelf moeten worden verbeterd, maar de manier waarop ze worden getraind. Een dergelijke verbeterde trainingsroutine wordt datacentrisch computerzicht genoemd. Hier accepteert het deep learning-systeem zeer grote trainingssets van duizenden, miljoenen of zelfs miljarden beelden - en slaat dan de resulterende informatie op die zijn algoritmen uit elk beeld halen. De algoritmen leren effectief door uitgewerkte voorbeelden te oefenen en vervolgens te verwijzen naar een "antwoordenboek" om na te gaan of zij op de juiste waarden zijn uitgekomen.

Een oud verhaal over de begindagen van digitale patroonherkenning dient als waarschuwing. Het Amerikaanse leger was van plan machine vision te gebruiken voor doelherkenning, en demonstraties van defensie-aannemers identificeerden betrouwbaar Amerikaanse en Russische tanks. Verschillende tanks werden allemaal correct onderscheiden op de luchtfoto's van de leverancier, de een na de ander. Maar bij een nieuwe test met de eigen fotobibliotheek van het Pentagon bleef het systeem verkeerde antwoorden geven. Het probleem was dat de afbeeldingen van de defensieaannemer allemaal Amerikaanse tanks in woestijnen en Russische tanks in groene velden afbeeldden. Het systeem herkende geen verschillende tanks, maar verschillende achtergronden. De moraal? Leeralgoritmen moeten zorgvuldig gecureerd worden om bruikbaar te zijn.

Conclusie: visie op veiligheid van robotwerkcellen

Machine vision is niet langer een niche-technologie. Het gebruik ervan neemt het meest toe in industriële toepassingen. De meest dramatische ontwikkeling hier is hoe machine vision nu een aanvulling vormt op de veiligheidssystemen in fabrieken die alarm slaan of audioberichten afgeven wanneer fabriekspersoneel een werkzone betreedt zonder helm, masker of andere correcte beschermingsmiddelen. Machine vision kan ook systemen aanvullen die aankondigen wanneer mobiele machines zoals vorkheftrucks te dicht bij mensen komen.

Deze en soortgelijke machinezichtsystemen kunnen soms de harde afscherming rond industriële robots vervangen om efficiënter te kunnen werken. Ze kunnen ook veiligheidssystemen vervangen of verbeteren die gebaseerd zijn op lichtschermen die machines eenvoudigweg stoppen als een fabrieksarbeider een werkcel betreedt. Wanneer machine vision de fabrieksvloer rondom de werkcel bewaakt, is het mogelijk dat robots in dergelijke cellen geleidelijk vertragen wanneer mensen naderen.

Naarmate het ontwerp van industriële omgevingen zich ontwikkelt om ruimte te bieden aan samenwerkende robots en andere werkcelapparatuur die veilig is voor het fabriekspersoneel (zelfs terwijl die apparatuur werkt), zullen deze en andere systemen op basis van machine vision een veel gewoner onderdeel worden van fabrieksprocessen.