EnglishΕλληνικά
Επιστροφή στα Projects

Visual Localization

Εκτίμηση θέσης και προσανατολισμού 6-DOF χωρίς GPS, με camera features και sensor fusion από IMU

Ολοκληρωμένο2024Robotics
Απόκλιση<1% στα 100 m
ΜέθοδοςSuperPoint + SuperGlue
Συνένωση δεδομένωνEKF + IMU

Σύστημα εντοπισμού θέσης χωρίς GPS, το οποίο εκτιμά τη θέση, το υψόμετρο και τον προσανατολισμό ενός drone από εικόνα και δεδομένα των onboard αισθητήρων κίνησης. Αναπτύχθηκε στο πλαίσιο της πτυχιακής εργασίας Autonomous UAV Tracking και παρέχει αξιόπιστη εκτίμηση της στάσης του αεροσκάφους όταν το GPS δεν είναι διαθέσιμο.

Visual pipeline

Κάθε καρέ της κάμερας συγκρίνεται με γεωαναφερμένα map tiles. Το SuperPoint εντοπίζει διακριτά οπτικά χαρακτηριστικά και το SuperGlue τα αντιστοιχίζει ανάμεσα στην live εικόνα και τον χάρτη. Επειδή τα tiles έχουν γνωστή κλίμακα στον πραγματικό κόσμο, οι αντιστοιχίσεις μετατρέπονται σε σημεία αναφοράς για την εκτίμηση θέσης, προσανατολισμού και υψομέτρου. Solver Perspective-n-Point (PnP), σε συνδυασμό με RANSAC για την απόρριψη λανθασμένων αντιστοιχίσεων, παράγει την τελική εκτίμηση της απόλυτης στάσης.

Sensor fusion

Οι εκτιμήσεις από την κάμερα συνδυάζονται με τις μετρήσεις της IMU σε Extended Kalman Filter (EKF). Τα δεδομένα επιταχυνσιόμετρου και γυροσκοπίου προβλέπουν την κίνηση του αεροσκάφους ανάμεσα στα καρέ, ενώ οι αξιόπιστες οπτικές αντιστοιχίσεις διορθώνουν την πρόβλεψη. Έτσι η εκτίμηση παραμένει ομαλή και συνεχής ακόμη κι όταν η κάμερα χάνει προσωρινά καλή αντιστοίχιση.

Ενσωμάτωση

Το σύστημα έχει υλοποιηθεί με OpenCV, ενσωματώνεται με PX4 flight controller και μπορεί να λειτουργεί παράλληλα με πλοήγηση βασισμένη σε GPS. Ενεργοποιείται αυτόματα όταν η ποιότητα του GPS πέσει κάτω από ρυθμιζόμενο όριο. Dynamic resolution scaling διατηρεί διαχειρίσιμο τον φόρτο όταν ο εντοπισμός θέσης εκτελείται μαζί με object detection και tracking.

Tech Stack
ekfvisual-odometrysensor-fusionopencvsuperpointsuperglue