Machine learning in robotic navigation

Neuraal netwerk leert robot de weg te vinden

Het promotieonderzoek van Amir Shantia draagt bij aan het veld van robot-besturing, door gebruik te maken van verschillende oplossingen voor machinaal leren: begeleid leren met (diepe) neurale netwerken, onbeheerd leren, en versterkend leren. Eerst presenteert hij een semi-supervised machine learning aanpak die de parameters van de robotbesturing dynamisch kan updaten met behulp van situationele analyse door middel van feature-extractie en unsupervised clustering. De resultaten tonen aan dat de robot zich kan aanpassen aan de veranderingen in zijn omgeving, wat resulteert in een verbetering van de navigatiesnelheid en -stabiliteit met dertig procent.

Vervolgens trainde Shantia meerdere diepe neurale netwerken om de positie van de robot in de omgeving te schatten met behulp van grondinformatie die wordt geleverd door een klassieke lokalisatie- en karteringsaanpak. Hij maakte twee beeld-gebaseerde lokalisatiedatasets voor in 3D-simulatie en vergeleek de resultaten van een traditioneel meerlaags perceptron, een gestapelde denoising autoencoder en een convolutioneel neuraal netwerk (CNN). De resultaten van het experiment tonen aan dat de door Shantia voorgestelde inceptionele CNN's zonder pooling van lagen zeer goed presteren in alle omgevingen.

Tot slot presenteert hij een tweefasig leerraamwerk voor visuele navigatie, waarin de ervaring van de agent tijdens de verkenning van een doel wordt gedeeld om te leren navigeren naar andere doelen. De multi-doel Q-functie leert de omgeving te doorkruisen met behulp van de meegeleverde discrete kaart. Transfer learning wordt toegepast op de multi-doel Q-functie van een doolhofstructuur naar een 2D-simulator en wordt uiteindelijk ingezet in een 3D-simulator waarbij de robot gebruik maakt van de geschatte locaties van de positie-schatter diepe CNNs. De resultaten laten een significante verbetering zien wanneer er gebruik wordt gemaakt van multi-goal reinforcement learning.

Amir Shantia  verrichtte zijn promotieonderzoek bij de afdeling Kunstmatige Intelligentie van het Bernoulli Instituut. Hij werkt nu als Product Owner and Senior Data Scientist bij de VW Car Software Organization.

Proefschrift: http://hdl.handle.net/11370/5602af0e-2ab3-4206-bf61-a93ad8c4ffb0