Hoe sensorfusion te gebruiken om Industry 4.0-productieprocessen en logistiek te verbeteren

Bij sensorfusie worden gegevens van meerdere sensoren gecombineerd om een gedetailleerder en genuanceerder inzicht te krijgen in de werking van het systeem of de omgeving. In veel gevallen kan de zwakte van één sensortechnologie worden verholpen door informatie van een tweede sensortechnologie toe te voegen (samen te voegen). Het toevoegen van kunstmatige intelligentie (AI) en machine learning (ML) kan de kracht van sensorfusie vergroten.

Er zijn verschillende uitdagingen bij het implementeren van sensorfusie. Het kan bijvoorbeeld moeilijk zijn om een evenwichtige oplossing te ontwikkelen en niet een van de technologieën te "bevoordelen" boven de andere. Dat kan leiden tot een gebrek aan schaalbaarheid en verminderde prestaties. Eén manier om die uitdaging aan te gaan is het integreren van meerdere sensortechnologieën in één pakket. Sensorfusie is niet beperkt tot het gebruik van meerdere discrete sensoren.

Ongeacht het niveau van sensorintegratie kan het toevoegen van AI of ML de prestaties verbeteren, maar training kan complex en tijdrovend zijn. In plaats daarvan kunnen ontwerpers zich wenden tot zelftrainende sensoren met ingebouwde AI- en ML-mogelijkheden.

Dit artikel begint met een bespreking van een implementatie van sensorfusie met behulp van discrete sensoren, een 32-bits MCU en ML-software. Vervolgens wordt een reeks geïntegreerde oplossingen voor sensorfusie en toepassingsvoorbeelden in logistieke faciliteiten, datacenters, procesautomatisering, materiaalverwerking en landbouwapparatuur gepresenteerd.

Tot slot wordt er gekeken naar een geïntegreerde oplossing voor het samenvoegen van milieusensoren met geïntegreerde AI-software. Tijdens de discussie zullen voorbeelden van Renesas Electronics, Sensirion, TE Connectivity, ACEINNA, Bosch Sensortec en TDK InvenSense aan bod komen.

Ontwerpers kunnen opties voor sensorfusie verkennen met behulp van een referentie-ontwerpbord van Renesas. Het bord is gebaseerd op een 32-bits MCU met een Arm® Cortex®-M4-kern van 120 MHz, tot 2 MB codeflashgeheugen en 640 KB SRAM, plus talloze interface- en connectiviteitsopties.

De bijbehorende evalkit is geoptimaliseerd voor multi-sensor- en sensorfusionontwerpen. Het bevat een luchtkwaliteitssensor, lichtsensor, temperatuur- en vochtigheidssensor, een 6-assige traagheidsmeeteenheid (IMU), een microfoon en Bluetooth Low Energy (BLE) connectiviteit (Afbeelding 1). Het referentieontwerp bevat ook een geautomatiseerd ML-platform voor randapparaten en sensorfusietoepassingen.

Afbeelding 1: IoT-sensorfusioneval- en devbord met geautomatiseerde ML-ontwikkelsoftware en BLE-connectiviteit. (Bron afbeelding: Renesas Electronics)

Stabiliserende kantelsensors

Kantelsensors zijn gespecialiseerde IMU's die worden gebruikt in verschillende toepassingen, waaronder landbouwmachines, terreinvoertuigen, intern transport en zware bouwmachines. Veiligheidsnormen vereisen soms kantelsensoren om veilige werkomgevingen te garanderen. Kantelsensoren kunnen worden samengesteld uit verschillende discrete apparaten, wat ingewikkeld kan zijn.

De kern van de meeste ontwerpen voor kantelsensoren is een gyroscoopsensor (gyro) die de hoeksnelheid of draaisnelheid rond een as meet. Dat is geweldig als het platform in beweging is, maar als het stopt met bewegen, bijvoorbeeld gekanteld in een hoek van 20 graden, gaat de sensoruitvoer naar nul. Bovendien kan een gyroscoop na verloop van tijd een aanzienlijke drift vertonen, waarbij de fouten zich opstapelen en uiteindelijk een niet meer nauwkeurige of bruikbare meting opleveren.

Om de beperkingen van gyroscopen aan te pakken, voegen dynamische kantelsensoroplossingen een versnellingsmeter toe om beweging te meten. Dat kan het systeem vertellen wanneer het is gestopt met bewegen en het in staat stellen om de laatste uitvoer van de gyro te gebruiken om de kantelhoek te schatten. Het laatste stukje van de puzzel is een temperatuursensor die de effecten van temperatuurschommelingen op de gyro- en versnellingsmeter compenseert.

Kalmanfilters worden vaak gebruikt voor sensorfusie bij kantelsensoren. Een standaard Kalman-filter gebaseerd op lineaire kwadratische schatting kan worden gebruikt als de sensoren in een lineair prestatiegebied werken. Kalmanfilters kunnen relatief nauwkeurige toestandsschattingen produceren, zelfs in systemen zoals kantelsensors met inherente onzekerheid en accumulatiefouten.

Kantelsensors die werken in een niet-lineair gebied kunnen profiteren van een uitgebreid Kalman-filter dat de schattingen lineariseert met behulp van de huidige gemiddelde waarde en covariantie.

Kantelsensors zoals de AXISENSE-G-700 van TE Connectivity en de MTLT305D van ACEINNA hebben zes vrijheidsgraden (6 DoF) bewegingsdetectie, drie van de gyroscoop en drie van de versnellingsmeter, en maken gebruik van Kalman-filtertechnieken voor sensorfusie (Afbeelding 2).

Afbeelding 2: De AXISENSE-G-700-kantelsensor combineert gegevens van versnellings-, rotatie- en temperatuursensors om nauwkeurige kantelinformatie te leveren in dynamische omgevingen. (Bron afbeelding: TE connectiviteit)

Negen-in-één fuseren

Hoewel 6 DoF in veel gevallen voldoende is, kunnen sommige toepassingen voor het volgen van bewegingen, zoals drones, voertuigen en virtual reality-apparaten, profiteren van de extra informatie die het gebruik van 9 DoF oplevert.

De OPENIMU300RI-module van ACEINNA is ontworpen voor gebruik in 12 V en 24 V auto-, bouw- en landbouwvoertuigen. Naast een gyro- en versnellingsmeter heeft deze IMU een anisotrope magneto-resistieve (AMR) magnetometer met 3 modi.

Een ARM-processor verzamelt de sensorgegevens en implementeert OpenIMU, een open-source stack voor de ontwikkeling van IMU, GPS (Global Positioning System) en INS (Inertial Navigation System). De stack bevat een aanpasbaar Kalman-filter voor sensorfusion.

TDK InvenSense biedt ook een 9-assig apparaat voor het volgen van bewegingen. Het model ICM-20948 heeft een bedrijfstemperatuurbereik van -40 °C tot 85 °C, waardoor het geschikt is voor diverse toepassingen in veeleisende omgevingen, zoals industriële automatisering en autonome systemen. Het bevat een op microelektromechanische systemen (MEMS) gebaseerde gyrogyroscoop met drie assen, een op MEMS gebaseerde versnellingsmeter met drie assen en een op MEMS gebaseerde magnetometer/kompas met drie assen.

Naast de 9 DoF bewegingssensoren heeft de ICM-20948 onafhankelijke analoog-digitaalomzetters (ADC's) voor elke sensor, signaalconditioneringsschakelingen en een digitale bewegingsprocessor (DMP) (Afbeelding 3).

Afbeelding 3: Dit geïntegreerde sensorplatform ondersteunt 9 DoF met behulp van een drie-assige gyroscoop en drie-assige versnellingsmeter (hefzijde) plus een drie-assige magnetometer/kompas (rechtsonder). (Bron afbeelding: TDK InvenSense)

Enkele ICM-20948-details zijn:

Drie onafhankelijke vibrerende MEMS-snelheidsgyroscopen. Als de gyroscopen om een van de drie assen worden gedraaid, veroorzaakt het Coriolis-effect een trilling die wordt gedetecteerd door een capacitieve pick-up. De uitgang van de pickup wordt verwerkt om een spanning te produceren die evenredig is met de hoeksnelheid.

De 3-assige MEMS-versnellingsmeter heeft afzonderlijke massa's voor elke as. Versnelling langs een as verplaatst de corresponderende massa, die een capacitieve pickup detecteert. Als de ICM-20948 op een vlak oppervlak wordt geplaatst, meet hij 0 g op de X- en Y-as en +1 g op de Z-as.

De magnetometer is gebaseerd op Hall-sensortechnologie. Het detecteert aardmagnetisme in de X-, Y- en Z-as. De sensoruitgang wordt gegenereerd met een sensordrivercircuit, een versterker, een 16-bits ADC en een rekencircuit om het resulterende signaal te verwerken. Elke as heeft een volledig schaalbereik van ±4900 µT.

De DMP in de ICM-20948 is een onderscheidende factor. Enkele van de functies en voordelen zijn:

• Door de berekening van bewegingsverwerkingsalgoritmen over te hevelen van de hostprocessor wordt het stroomverbruik geminimaliseerd en de timing en softwarearchitectuur vereenvoudigd. De DMP zorgt ervoor dat bewegingsverwerkingsalgoritmen op een hoge snelheid, rond 200 Hz, kunnen worden uitgevoerd om nauwkeurige resultaten met een lage latentie te leveren. Werking op 200 Hz wordt aanbevolen, zelfs als de applicatie veel langzamere updates uitvoert, zoals 5 Hz. Het loskoppelen van de verwerkingssnelheid van het DMP van de updatefrequentie van de applicatie zorgt voor robuustere systeemprestaties.
• De DMP maakt een zeer laag energieverbruik en achtergrondkalibratie van de sensoren mogelijk. Kalibratie is nodig om de optimale prestaties van individuele sensoren en sensorfusieprocessen te handhaven gedurende de levensduur van het apparaat.
• Het DMP vereenvoudigt de softwarearchitectuur en versnelt de softwareontwikkeling, wat resulteert in een snellere time-to-market.

Geïntegreerde omgevingssensoren

Omgevingsbewaking is essentieel in voedselverwerking en -opslag, chemische fabrieken, logistieke operaties, datacenters, de productie van gewassen in broeikassen, verwarming, ventilatie en airconditioning (HVAC) systemen en andere gebieden. Relatieve vochtigheid (RH) en temperatuurmetingen kunnen samengevoegd worden om het dauwpunt te berekenen.

De SHTC3-serie van Sensirion zijn digitale vochtigheids- en temperatuursensoren die geoptimaliseerd zijn voor batterijgevoede toepassingen aan de rand en in hoogvolume consumentenelektronica. Het CMOS-sensorplatform bevat een capacitieve vochtigheidssensor, een bandgap temperatuursensor, analoge en digitale signaalverwerking, A/D-convertor, kalibratiedatageheugen en een I²C snelle communicatie-interface.

Het kleine DFN-pakket van 2 x 2 x 0,75 mm ondersteunt toepassingen met beperkte ruimte. De brede voedingsspanning van 1,62 V tot 3,6 V en een energiebudget van minder dan 1 μJ per meting maken de SHTC3 geschikt voor mobiele of draadloze apparaten op batterijen (Afbeelding 4). Zo wordt onderdeelnummer SHTC3-TR-10KS geleverd in hoeveelheden van 10.000 stuks op Digi-Reel, tape en reel of gesneden tape. Ontwerpers kunnen het SHTC3-evalbord gebruiken om de systeemontwikkeling te versnellen.

Afbeelding 4: Dit omgevingsbewakingsapparaat bevat digitale vochtigheids- en temperatuursensors. (Bron afbeelding: Sensirion)

Barometerdruk toevoegen

Context- en locatiebewustzijn worden steeds belangrijker in domoticabedieningen, HVAC-systemen, fitnessapparatuur en indoornavigatietoepassingen. Het ontwerp van deze systemen kan profiteren van het gebruik van de BME280 geïntegreerde omgevingsunit van Bosch Sensortec die een barometrische druksensor toevoegt samen met vochtigheids- en temperatuursensoren.

De sensors zijn ruisarme ontwerpen die een hoge nauwkeurigheid en resolutie bieden. De druksensor meet de absolute barometerdruk. De geïntegreerde temperatuur is geoptimaliseerd om samen te werken met de vochtigheidssensor om de RV en het dauwpunt te bepalen. Het wordt ook gebruikt om de barometer te compenseren voor temperatuur. Er is een devbord beschikbaar om het ontwerp- en systeemintegratieproces te versnellen.

AI voor omgevingsdetectie

Bosch Sensortec biedt ook een 4-in-1-omgevingssensor met ingebouwde AI. De BME688 bevat een gassensor en hooglineaire en zeer nauwkeurige druk-, vochtigheids- en temperatuursensors. Het apparaat wordt geleverd in een robuuste behuizing van 3,0 mm x 3,0 mm x 0,9 mm die geschikt is voor mobiele en andere toepassingen met beperkte ruimte (afbeelding 5).

Afbeelding 5: De BME688 van Bosch Sensortec bevat een gassensor plus druk-, vochtigheids- en temperatuursensors, allemaal ondersteund met geïntegreerde AI. (Bron afbeelding: Bosch Sensortec)

De gassensor kan vluchtige organische stoffen (VOC's), vluchtige zwavelverbindingen (VSC's) en andere gassen zoals koolmonoxide en waterstof detecteren in het bereik van deeltjes per miljard (ppb). De BME688 bevat een gasscannerfunctie die kan worden aangepast voor gevoeligheid, selectiviteit, gegevenssnelheid en stroomverbruik.

De BME AI-Studio-software optimaliseert de gassensor ook voor andere gasmengsels en toepassingen. Het BME688-evalbord kan worden geconfigureerd met de BME AI-Studio-software. BME AI-Studio ondersteunt sensorconfiguratie, gegevensanalyse en -labeling, training en optimalisatie van toepassingsoplossingen voor fabrieken, logistieke faciliteiten, smart home en IoT-apparaten.

Door gassen te bemonsteren en het systeem in het veld te trainen in plaats van in het lab, kunnen realistischere algoritmen worden ontworpen die beter presteren en een hogere betrouwbaarheid bieden onder werkelijke bedrijfsomstandigheden. Door gebruik te maken van het vermogen van de BME688 om gelijktijdig vochtigheid, temperatuur en barometerdruk te meten, naast gassen, kunnen uitgebreidere en nauwkeurigere AI-modellen worden ontwikkeld.

Conclusie

Sensorfusiesystemen voor Industry 4.0, logistiek en andere toepassingen kunnen worden ontwikkeld met behulp van een reeks discrete sensoren of een geïntegreerde oplossing met meerdere sensoren in één pakket. Geïntegreerde apparaten kunnen kleinere en energiezuinigere oplossingen produceren voor mobiele en randtoepassingen. Of het nu gaat om discrete sensors of een geïntegreerde sensorsuite, de prestaties kunnen worden verbeterd door AI en ML toe te voegen.