Οι ερευνητές του MIT παρουσιάζουν ένα νέο σύστημα όρασης υπολογιστή που μετατρέπει οποιοδήποτε γυαλιστερό αντικείμενο σε κάμερες: δίνοντας τη δυνατότητα στον παρατηρητή να βλέπει γύρω από τις γωνίες ή πίσω από εμπόδια.

Πολύτιμες και συχνά κρυφές πληροφορίες για το άμεσο περιβάλλον ενός ατόμου μπορούν να ληφθούν από την αντανάκλαση του αντικειμένου. Με την επανατοποθέτησή τους ως κάμερες, μπορεί κανείς να εκτελέσει ασύλληπτα κατορθώματα, όπως να κοιτάζει μέσα από τοίχους ή προς τον ουρανό. Αυτό είναι δύσκολο γιατί πολλοί παράγοντες επηρεάζουν τις αντανακλάσεις, συμπεριλαμβανομένης της γεωμετρίας των αντικειμένων, των ιδιοτήτων του υλικού, του τρισδιάστατου περιβάλλοντος και της οπτικής γωνίας του παρατηρητή. Αποδομώντας εσωτερικά τη γεωμετρία και τη φωτεινότητα ενός αντικειμένου από την κατοπτρική ακτινοβολία που αντανακλάται από αυτό, οι άνθρωποι μπορούν να αποσπάσουν βάθος και σημασιολογικές ενδείξεις για παρεμποδισμένα μέρη του περιβάλλοντος περιβάλλοντος.

Ερευνητές όρασης υπολογιστών στο MIT και το Rice έχουν αναπτύξει έναν τρόπο να χρησιμοποιούν αντανακλάσεις για να παράγουν εικόνες του πραγματικού περιβάλλοντος. Χρησιμοποιώντας αντανακλάσεις, μετατρέπουν τα γυαλιστερά αντικείμενα σε «κάμερες», δίνοντας την εντύπωση ότι ο χρήστης αγναντεύει τον κόσμο μέσα από τους «φακούς» κοινών αντικειμένων, όπως ένα κεραμικό φλιτζάνι καφέ ή ένα μεταλλικό βαρίδι.

Η μέθοδος που χρησιμοποίησαν οι ερευνητές περιλαμβάνει τη μετατροπή φωτεινών αντικειμένων ακαθόριστης γεωμετρίας σε κάμερες πεδίου ακτινοβολίας. Η κύρια ιδέα είναι να χρησιμοποιηθεί η επιφάνεια του αντικειμένου ως ψηφιακός αισθητήρας για την καταγραφή του φωτός που ανακλάται από το περιβάλλον περιβάλλον σε δύο διαστάσεις.

Οι ερευνητές εξηγούν ότι η νέα σύνθεση άποψης, παρουσιάζοντας νέες προοπτικές που είναι ορατές μόνο απευθείας στο φωτεινό αντικείμενο στη σκηνή αλλά όχι στον παρατηρητή, χάρη στην αποκατάσταση των πεδίων ακτινοβολίας του περιβάλλοντος. Επιπλέον, μπορούμε να φανταστούμε aglodrat που δημιουργούνται από κοντινά αντικείμενα στη σκηνή χρησιμοποιώντας πεδίο ακτινοβολίας. Η μέθοδος που αναπτύχθηκε από τους ερευνητές διδάσκεται από άκρο σε άκρο χρησιμοποιώντας πολλές φωτογραφίες του αντικειμένου για την ταυτόχρονη εκτίμηση της γεωμετρίας, της διάχυτης ακτινοβολίας και του πεδίου ακτινοβολίας του 5D περιβάλλοντος του.

Η έρευνα στοχεύει να διαχωρίσει το αντικείμενο από την αντανάκλασή του έτσι ώστε το αντικείμενο να «βλέπει» τον κόσμο σαν να είναι κάμερα και να καταγράφει το περιβάλλον του. Η όραση του υπολογιστή έχει παλέψει με τις αντανακλάσεις για αρκετό καιρό επειδή είναι μια παραμορφωμένη 2D αναπαράσταση μιας τρισδιάστατης σκηνής άγνωστου σχήματος.

Οι ερευνητές μοντελοποιούν την επιφάνεια του αντικειμένου ως εικονικό αισθητήρα και συλλέγουν τη δισδιάστατη προβολή του πεδίου ακτινοβολίας 5D περιβάλλοντος γύρω από το αντικείμενο για να δημιουργήσουν μια τρισδιάστατη αναπαράσταση του κόσμου όπως φαίνεται από το αντικείμενο. Το μεγαλύτερο μέρος του πεδίου ακτινοβολίας του περιβάλλοντος μπλοκάρεται εκτός από τις αντανακλάσεις του αντικειμένου. Πέρα από το οπτικό πεδίο, η σύνθεση της απεικόνισης του μυθιστορήματος ή η παρουσίαση νέων προοπτικών που είναι άμεσα ορατές μόνο στο φωτεινό αντικείμενο στη σκηνή αλλά όχι στον παρατηρητή, είναι δυνατή μέσω της χρήσης των πεδίων ακτινοβολίας του περιβάλλοντος, τα οποία επίσης επιτρέπουν για την εκτίμηση του βάθους και της φωτεινότητας από το αντικείμενο στο περιβάλλον του.

Εν ολίγοις, η ομάδα έκανε τα εξής:

• Δείχνουν πώς οι σιωπηρές επιφάνειες μπορούν να μετατραπούν σε εικονικούς αισθητήρες με τη δυνατότητα λήψης τρισδιάστατων εικόνων του περιβάλλοντός τους χρησιμοποιώντας μόνο εικονικούς κώνους.
• Μαζί, υπολογίζουν το 5D περιβάλλον ακτινοβολίας του αντικειμένου και υπολογίζουν τη διάχυτη ακτινοβολία του.
• Δείχνουν πώς να χρησιμοποιήσετε το φωτεινό πεδίο του περιβάλλοντος περιβάλλοντος για να δημιουργήσετε νέες προοπτικές αόρατες στο ανθρώπινο μάτι.

Αυτό το έργο στοχεύει στην ανακατασκευή του πενταδιάστατου πεδίου ακτινοβολίας του ωκεανού από πολλές φωτογραφίες ενός φωτεινού στοιχείου άγνωστου σχήματος και albedo. Η λάμψη από ανακλαστικές επιφάνειες αποκαλύπτει στοιχεία μιας σκηνής εκτός του οπτικού πεδίου. Συγκεκριμένα, οι κανόνες της επιφάνειας και η καμπυλότητα του φωτεινού αντικειμένου καθορίζουν τον τρόπο με τον οποίο οι εικόνες του παρατηρητή χαρτογραφούνται στον πραγματικό κόσμο.

Οι ερευνητές μπορεί να χρειαστούν πιο ακριβείς πληροφορίες σχετικά με το σχήμα του ανακλώμενου αντικειμένου ή της πραγματικότητας, γεγονός που συμβάλλει στην παραμόρφωση. Είναι επίσης δυνατό το χρώμα και η υφή ενός γυαλιστερού αντικειμένου να συνδυάζονται με τις αντανακλάσεις. Επιπλέον, δεν είναι εύκολο να διακρίνει κανείς το βάθος στις ανακλώμενες σκηνές, επειδή οι αντανακλάσεις είναι δισδιάστατες προβολές ενός τρισδιάστατου περιβάλλοντος.

Η ομάδα των ερευνητών ξεπέρασε αυτά τα εμπόδια. Ξεκινούν φωτογραφίζοντας το γυαλιστερό αντικείμενο από διαφορετικές γωνίες, αποτυπώνοντας μια ποικιλία αντανακλάσεων. Το Orca (Objects Like Radiance-Field Cameras) είναι ένα αρκτικόλεξο για τη διαδικασία τριών σταδίων τους.

Η Orca μπορεί να καταγράψει αντανακλάσεις πολλαπλής προβολής απεικονίζοντας το αντικείμενο από διαφορετικές γωνίες, οι οποίες στη συνέχεια χρησιμοποιούνται για την εκτίμηση του βάθους μεταξύ του φωτεινού αντικειμένου και άλλων αντικειμένων στη σκηνή και του σχήματος του ίδιου του φωτεινού αντικειμένου. Περισσότερες πληροφορίες σχετικά με την ισχύ και την κατεύθυνση των ακτίνων φωτός που προέρχονται και χτυπούν σε κάθε σημείο της εικόνας καταγράφονται από το μοντέλο 5D πεδίου ακτινοβολίας της ORCa. Η Orca μπορεί να κάνει πιο ακριβείς εκτιμήσεις βάθους χάρη στα δεδομένα σε αυτό το 5D πεδίο ακτινοβολίας. Επειδή η σκηνή αποδίδεται ως πεδίο ακτινοβολίας 5D και όχι ως εικόνα 2D, ο χρήστης μπορεί να δει λεπτομέρειες που θα κρύβονταν από γωνίες ή άλλα εμπόδια. Οι ερευνητές εξηγούν ότι μόλις το ORCa συλλέξει το πεδίο 5D ακτινοβολίας, ο χρήστης μπορεί να τοποθετήσει μια εικονική κάμερα οπουδήποτε στην περιοχή και να δημιουργήσει τη συνθετική εικόνα που θα παράγει η κάμερα. Ο χρήστης μπορεί επίσης να αλλάξει την εμφάνιση ενός αντικειμένου, για παράδειγμα από κεραμικό σε μεταλλικό, ή να ενσωματώσει εικονικά αντικείμενα στη σκηνή.

Επεκτείνοντας τον ορισμό του πεδίου ακτινοβολίας πέρα ​​από το παραδοσιακό πεδίο ακτινοβολίας γραμμής όρασης, οι ερευνητές μπορούν να ανοίξουν νέους δρόμους για τη διερεύνηση του περιβάλλοντος και των αντικειμένων μέσα σε αυτό. Χρησιμοποιώντας προβαλλόμενα εικονικά πλάτη και βάθη, η εργασία μπορεί να ανοίξει δυνατότητες εισαγωγής εικονικών αντικειμένων και τρισδιάστατης αντίληψης, όπως η παρέκταση πληροφοριών έξω από το οπτικό πεδίο της κάμερας.

σαρώστε το χαρτί Και Σελίδα έργου. Μην ξεχάσετε να εγγραφείτε 22k+ML Sub RedditΚαι κανάλι διχόνοιαςΚαι Και Ενημερωτικό δελτίο ηλεκτρονικού ταχυδρομείου, όπου μοιραζόμαστε τα πιο πρόσφατα ερευνητικά νέα της τεχνητής νοημοσύνης, εντυπωσιακά έργα τεχνητής νοημοσύνης και πολλά άλλα. Εάν έχετε οποιεσδήποτε ερωτήσεις σχετικά με το παραπάνω άρθρο ή εάν έχουμε χάσει κάτι, μη διστάσετε να μας στείλετε email στο Asif@marktechpost.com

🚀 Δείτε τα 100’s AI Tools στο AI Tools Club