Η Apple κυκλοφόρησε σήμερα πολλά μοντέλα ανοιχτού κώδικα μεγάλων γλωσσών (LLM) που έχουν σχεδιαστεί για να εκτελούνται σε συσκευές και όχι μέσω διακομιστών cloud. Τα προγράμματα LLM που ονομάζονται OpenELM (Open Source Efficient Language Models), είναι διαθέσιμα στη διεύθυνση Το κεντρικό στοιχείο του αγκαλιασμένου προσώπουμια κοινότητα για κοινή χρήση κώδικα AI.
Όπως φαίνεται στη λευκή βίβλο [PDF],Υπάρχουν συνολικά οκτώ μοντέλα OpenELM, τέσσερα από τα οποία είναι προεκπαιδευμένα χρησιμοποιώντας τη βιβλιοθήκη CoreNet και τέσσερα είναι μοντέλα συντονισμένα με οδηγίες. Η Apple χρησιμοποιεί μια στρατηγική κλιμάκωσης επιπέδων με στόχο τη βελτίωση της ακρίβειας και της αποτελεσματικότητας.
Η Apple παρείχε κώδικα, αρχεία καταγραφής εκπαίδευσης και πολλαπλές εκδόσεις και όχι απλώς το τελικό μοντέλο εκπαίδευσης και οι ερευνητές πίσω από το έργο ελπίζουν ότι αυτό θα οδηγήσει σε ταχύτερη πρόοδο και «πιο αξιόπιστα αποτελέσματα» στον τομέα της φυσικής γλώσσας AI.
OpenELM, ένα ανοιχτό εξελισσόμενο γλωσσικό μοντέλο. Το OpenELM χρησιμοποιεί μια στρατηγική κλιμάκωσης επιπέδων για την αποτελεσματική κατανομή παραμέτρων σε κάθε επίπεδο του μοντέλου μετασχηματιστή, με αποτέλεσμα βελτιωμένη ακρίβεια. Για παράδειγμα, με προϋπολογισμό παραμέτρων περίπου 1 δισεκατομμύριο παραμέτρους, το OpenELM παρουσιάζει βελτίωση 2,36% στην ακρίβεια σε σχέση με το OLMo, ενώ απαιτεί 2 φορές λιγότερα κουπόνια για προ-εκπαίδευση.
Ξεφεύγοντας από προηγούμενες πρακτικές που παρέχουν μόνο βάρη μοντέλων, κώδικα συμπερασμάτων και προεκπαίδευση σε ιδιωτικά σύνολα δεδομένων, η έκδοσή μας περιλαμβάνει το πλήρες πλαίσιο εκπαίδευσης και αξιολόγησης του μοντέλου γλώσσας σε δημόσια διαθέσιμα σύνολα δεδομένων, συμπεριλαμβανομένων αρχείων καταγραφής εκπαίδευσης, πολλαπλών σημείων ελέγχου και προ- σημεία. Διαμορφώσεις εκπαίδευσης.
Η Apple λέει ότι λανσάρει μοντέλα OpenELM για να «ενδυναμώσει και να εμπλουτίσει την ανοιχτή ερευνητική κοινότητα» με μοντέλα γλώσσας αιχμής. Η κοινή χρήση μοντέλων ανοιχτού κώδικα δίνει στους ερευνητές έναν τρόπο να διερευνήσουν κινδύνους, δεδομένα και προκαταλήψεις μοντέλων. Οι προγραμματιστές και οι επιχειρήσεις μπορούν να χρησιμοποιήσουν τα πρότυπα ως έχουν ή να κάνουν τροποποιήσεις σε αυτά.
Η ανοιχτή ανταλλαγή πληροφοριών έχει γίνει ένα σημαντικό εργαλείο για την Apple για την πρόσληψη κορυφαίων μηχανικών, επιστημόνων και ειδικών, επειδή παρέχει ευκαιρίες για ερευνητικές εργασίες που κανονικά δεν θα είχαν δημοσιευθεί σύμφωνα με τις πολιτικές εμπιστευτικότητας της Apple.
Η Apple δεν έχει ακόμη φέρει αυτούς τους τύπους δυνατοτήτων τεχνητής νοημοσύνης στις συσκευές της, αλλά το iOS 18 αναμένεται να περιλαμβάνει μια σειρά από νέες λειτουργίες τεχνητής νοημοσύνης και οι φήμες υποδηλώνουν ότι η Apple σχεδιάζει να τρέξει τα μεγάλα γλωσσικά μοντέλα της στη συσκευή για λόγους απορρήτου.