És la principal conclusió d’un estudi liderat per l’ICM-CSIC que demostra, per primera vegada, com un robot submarí és capaç d’aprendre la trajectòria òptima per monitoritzar el fons marí i fer el seguiment d’espècies.
Un equip liderat per l’Institut de Ciències del Mar (ICM-CSIC) de Barcelona en col·laboració amb el Monterey Bay Aquarium Research Institute (MBARI) de Califòrnia, la Universitat Politècnica de Catalunya (UPC) i la Universitat de Girona (UdG), ha demostrat per primera vegada que l’aprenentatge per reforç profund -és a dir, una xarxa neuronal que aprèn la millor acció a realitzar en cada moment en base a una sèrie de recompenses- permet als vehicles autònoms i robots submarins localitzar i fer un seguiment acurat d’objectes i animals marins que es troben sota l’aigua. Els detalls es recullen en un article publicat a la prestigiosa revista Science Robòtics, la principal revista científica en l’àmbit de la robòtica.
En l’actualitat, la robòtica submarina s’erigeix com una eina clau per a millorar el coneixement dels oceans davant les nombroses dificultats per explorar-los, amb vehicles capaços de baixar fins als 4.000 metres de fondària. A més, les dades in-situ que proporcionen ajuden a complementar-ne d’altres, com les obtingudes a través dels satèl·lits. Aquesta tecnologia permeten estudiar fenòmens que passen a petita escala, com per exemple la captura de CO2 per part d’organismes marins, la qual cosa contribueix a regular el canvi climàtic.
En concret, aquest nou treball revela que l’aprenentatge per reforçament, molt utilitzat en l’àmbit del control i la robòtica, com també en el desenvolupament d'eines relacionades amb el processament del llenguatge natural com el ChatGPT, permet que els robots submarins aprenguin quines accions han de realitzar en cada moment per a assolir un objectiu específic. Aquestes polítiques d’acció igualen, o fins i tot milloren en determinades circumstàncies, els mètodes tradicionals, basats en un desenvolupament analític.
“Aquest tipus d’aprenentatge ens permet entrenar una xarxa neuronal per tal d'optimitzar una tasca especifica, la qual cosa seria molt difícil d’aconseguir d’una altra manera. Per exemple, nosaltres hem pogut demostrar que és possible optimitzar la trajectòria d'un vehicle per a localitzar i fer un seguiment dels objectes que es mouen a sota l'aigua”, explica Ivan Masmitjà, l’autor principal de l’estudi, que ha treballat a cavall entre el ICM-CSIC i l’MBARI.
Això “permetrà poder aprofundir en l’estudi de fenòmens ecològics com es la migració o moviment a petita i gran escala de multitud d’espècies marines utilitzant robots autònoms. A part, aquests avenços faran possible la supervisió d’altres instruments oceanogràfics en temps real mitjançant una xarxa de robots, on uns poden estar en superfície monitoritzant i transmetent per satèl·lit les accions que fan altres plataformes robòtiques en el fons del mar”, comenta l’investigador del ICM-CSIC Joan Navarro, que també ha participat en l’estudi.
Per a l’elaboració del treball, els autors van fer servir les conegudes com a “tècniques d’acústica de rang”, que permeten estimar la posició d'un objecte tenint en compte mesures de distància preses en diferents punts. Aquest fet, però, fa que la precisió en la localització de l'objecte depengui molt del lloc on es prenen les mesures acústiques de rang. Per tant, és aquí on pren importància l’aplicació de la intel·ligència artificial i, en concret, l’aprenentatge per reforç, que permet identificar els millors punts i, a conseqüència, la trajectòria òptima que ha de realitzar el robot.
Les xarxes neuronals van ser entrenades, en part, utilitzant el clúster d’ordinadors del Barcelona Supercomputing Center (BSC-CNS), on es troba el superordinador més potent de l’estat espanyol i un dels més potents d’Europa. “Això va permetre ajustar els paràmetres de diferents algoritmes de forma molt més ràpida que no pas utilitzant ordinadors convencionals”, indica el Prof. Mario Martin, del Departament de Ciències de la Computació de la UPC i autor del estudi.
Un cop entrenats, els algoritmes es van provar en diferents vehicles autònoms, entre ells l’AUV l’Sparus II desenvolupat per VICOROB, en una sèrie de missions experimentals desenvolupades al port de Sant Feliu de Guíxols, al Baix Empordà, i a la badia de Monterey (Califòrnia), en col·laboració amb la investigadora principal del Bioinspiration Lab del MBARI, Kakani Katija.
“El nostre entorn de simulació incorpora l’arquitectura de control de vehicles reals, la qual cosa ens va permetre implementar els algoritmes de forma eficaç abans d’anar al mar”, comenta Narcís Palomeras, investigador de la UdG.
De cara a futures investigacions l’equip estudiarà la possibilitat d'aplicar els mateixos algoritmes per resoldre missions més complicades. Per exemple, l'ús de múltiples vehicles per localitzar objectes, detectar fronts i termoclines, o l’aflorament d’algues de manera cooperativa a través de tècniques d'aprenentatge per reforç multi plataforma.
Aquesta investigació s’ha dut a terme gràcies a la prestigiosa beca Europea Marie Curie Individual Fellowship que va guanyar l’investigador Ivan Masmitjà el 2020 i el projecte BITER, finançat pel Ministeri de Ciència i Innovació del Govern d’Espanya, que es troba actualment en execució.