‘Is er brand in beeld?’ – Nvidia introduceert AI-tekstinterface voor dronebesturing
AI-techbedrijf Nvidia heeft recent een innovatieve manier gepresenteerd om met drones te communiceren. Dankzij zogenaamde visuele AI-agents kunnen gebruikers nu in gewone taal opdrachten geven aan drones, die deze vervolgens zelfstandig uitvoeren. Je kunt zelfs een gesprek aangaan met een drone, vergelijkbaar met hoe je met ChatGPT praat. Toepassingen variëren van het monitoren van natuurgebieden tot het ondersteunen van noodhulpdiensten bij rampen.
Wat is een visuele AI-agent?
Een visuele AI-agent is een systeem dat gebruikmaakt van geavanceerde technologie om vragen in gewone taal te beantwoorden op basis van de inhoud van een opgenomen of live video. Deze agenten begrijpen niet alleen wat je bedoelt, maar houden ook rekening met de context van de video.
Communicatie met deze agents verloopt via standaard API’s, waardoor ze eenvoudig te integreren zijn met andere diensten en zelfs mobiele apps. De nieuwe generatie visuele AI-agents van Nvidia maakt het mogelijk om video’s samen te vatten, waarschuwingen te genereren, en waardevolle inzichten uit video’s te halen door simpelweg vragen te stellen in natuurlijke taal.
Chatten met een drone
Wanneer een AI-agent wordt gekoppeld aan de videofeed van een autonoom vliegende drone, ontstaat er een compleet nieuwe manier om met het toestel te communiceren. Het is alsof je een dronepiloot naast je hebt die live beelden bekijkt en vragen beantwoordt terwijl jij je op andere taken kunt concentreren.
Een visuele AI-agent kan bijvoorbeeld worden ingezet in situaties waarin een drone autonoom opereert. Je kunt de drone vragen om op specifieke gebeurtenissen te letten, zoals het detecteren van een brand of een dier. Zodra de drone iets opmerkt, kan hij een waarschuwing geven of de videostream naar een andere locatie sturen.
Je kunt zelfs een gesprek voeren met je drone, waarbij je vragen stelt over wat de camera ziet. De drone geeft dan tekstuele antwoorden, vergelijkbaar met ChatGPT. Dit opent nieuwe mogelijkheden, omdat je met een drone kunt communiceren terwijl deze waardevolle informatie verzamelt, zonder dat je zelf constant de beelden hoeft te volgen.
Toepassingen
Een brandweerman kan bijvoorbeeld een drone vragen om een waarschuwing te geven zodra er een brand wordt gedetecteerd, en om de video-opname te starten. Wanneer de drone een brand opmerkt, kan de brandweerman vervolgens vragen om de situatie in meer detail te beschrijven. Het is ook mogelijk om nieuwe waarschuwingen in te stellen, zoals het activeren van een alarm zodra er iemand in nood wordt gedetecteerd.
Een andere toepassing die Nvidia voorziet, is het monitoren van wilde dieren. Een visuele AI-agent zou een seintje kunnen geven zodra er een landdier of vogel wordt gesignaleerd. Vervolgens kan het systeem vragen beantwoorden over welke dieren in beeld zijn, in welke aantallen, en andere relevante details.
Beide mogelijke toepassingen worden nader toegelicht in onderstaande video:
Lokale AI-agents
Visuele AI-agents bieden niet alleen de mogelijkheid om videobeelden te analyseren en hierop te reageren, maar maken ook communicatie met de gebruiker mogelijk op een manier die naadloos aansluit op hun workflow.
En dankzij de opmars van edge computing, waarbij de AI-agent niet in de cloud, maar dankzij Nvidia’s Jetson-module lokaal op de drone zelf draait, kunnen deze visuele AI-agents zelfs zonder internetverbinding functioneren. Daarmee komt een heel scala aan nieuwe toepassingen binnen handbereik, ook op plekken waar geen snelle internetconnectie voorhanden is.
