Ο πρόδρομοι της GPT-4 πήραν το Νόμπελ Φυσικής

Το βραβείο Νομπέλ της Φυσικής για το 2024 απονεμήθηκε στους Τζον Χόπφιλντ(John Hopfield) και Τζέφρυ Χίντον (Jeoffrey Hinton) των οποίων οι εργασίες τους οδήγησαν σε εφαρμογές σήμερα του τύπου GPT-4.

Άλκης Γαλδαδάς

Το βραβείο Νομπέλ της Φυσικής για το 2024 απονεμήθηκε σε έναν Άγγλο και έναν Αμερικανό επιστήμονα, που οι εργασίες τους, ξεκινώντας από τα απλά νευρωνικά δίκτυα, αρχές της δεκαετίας του ’80, ναι, στον περασμένο αιώνα, 60 χρόνια πριν, οδήγησαν σε εφαρμογές σήμερα του τύπου GPT-4.

Ο Τζον Χόπφιλντ (John Hopfield), γεννημένος το 1933 στο Σικάγο, 91 ετών σήμερα, ξεκίνησε στο Πανεπιστήμιο του Κορνέλ την καριέρα του για να την τερματίσει στο Πρίνστον. Ο κατά δεκατέσσερα χρόνια νεότερός του Τζέφρυ Χίντον(Jeoffrey Hinton), 76 ετών σήμερα, γεννημένος στο Λονδίνο το 1947, εκπόνησε την διδακτορική του διατριβή στο Πανεπιστήμιο του Εδιμβούργου και τώρα είναι καθηγητής στο Πανεπιστήμιο του Τορόντο στον Καναδά.

Νευρωνικά Δίκτυα

Νευρωνικό δίκτυο είναι κύκλωμα και μέθοδος στην τεχνητή νοημοσύνη (AI) που διδάσκει στους υπολογιστές να επεξεργάζονται δεδομένα με τρόπο εμπνευσμένο από τον ανθρώπινο εγκέφαλο. Είναι ένας τύπος διαδικασίας μηχανικής μάθησης (ML), που ονομάζεται «βαθιά μάθηση» και χρησιμοποιεί διασυνδεδεμένους κόμβους (ή αλλιώς «νευρώνες») σε μια πολυεπίπεδη δομή που προσπαθεί να μοιάζει με την λειτουργία του ανθρωπίνου εγκεφάλου.

Δημιουργεί ένα «προσαρμοστικό» σύστημα όπως των υπολογιστών  για να μαθαίνουν από τα λάθη τους και να βελτιώνονται συνεχώς αλλά πολύ πιο εξελιγμενο. Διότι οι συμβατικές υπολογιστικές μηχανές της καθημερινής μας ζωής ακολουθούν απλά και πιστά ένα «πρόγραμμα», δηλαδή αυστηρές οδηγίες που έχουμε δώσει από πριν.  Δεν αφήνονται να πάρουν αποφάσεις που δεν ελέγχουμε. Με τα τεχνητά νευρωνικά δίκτυα γίνεται προσπάθεια να λυθούν περίπλοκα προβλήματα, όπως η αναγνώριση προσώπων, με ακρίβεια και χωρίς το αποτέλεσμα να εγκλωβίζεται στην εκτέλεση πολύ συγκεκριμένων οδηγιών. Τους ζητείται να βοηθήσουν τους υπολογιστές να λαμβάνουν έξυπνες αποφάσεις με περιορισμένη ανθρώπινη βοήθεια. Αυτό συμβαίνει επειδή μπορούν να μάθουν και να μοντελοποιήσουν τις σχέσεις μεταξύ δεδομένων εισόδου και εξόδου όταν αυτές είναι μη γραμμικές (δηλαδή από μια τιμή Α να προκύπτει μια του τύπου κΑ+ μ) και πολύπλοκες.

Ονομάζονται νευρωνικά όχι διότι υπάρχει κάτι ζωικό σε οποιοδήποτε σημείο των κυκλωμάτων τους αλλά επειδή ξεκίνησαν με αρχικό σκοπό να μιμηθούν στοιχειώδεις τρόπους λειτουργίας του εγκεφάλου.

Η συμβολή του Χόπφιλντ

Και στα φετινά βραβεία το δικό μας… νευρωνικό δίκτυο αναγνωρίζει το ίδιο υπόδειγμα (pattern): Ένας επιστήμονας που αφού έκανε πράγματα σε έναν τομέα αλλάζει εντελώς ερευνητικό πεδίο μεταφέροντας όμως και τις προηγούμενες γνώσεις του στην νέα του έρευνα και στην συνέχεια εκεί που οι άλλοι εγκαταλέιπουν τις αναζητήσεις τους γιατί φαίνεται πως αυτό το «ορυχείο» δεν έχει άλλο μετάλλευμα να δώσει, εκείνος συνεχίζει, επιμένει και βρίσκει μια νέα φλέβα.

Ο John Hopfield, ένας θεωρητικός φυσικός,  στην θεμελιώδη εργασία του τη δεκαετία του 1970 εξέτασε τη μεταφορά ηλεκτρονίων μεταξύ βιομορίων  και τη διόρθωση σφαλμάτων στις βιοχημικές αντιδράσεις . Το 1982, όμως ο Hopfield δημοσίευσε ένα δυναμικό μοντέλο για μια συνειρμική μνήμη βασισμένο σε ένα απλό επαναλαμβανόμενο νευρωνικό δίκτυο . Συλλογικά φαινόμενα εμφανίζονται συχνά σε φυσικά συστήματα, όπως κινήσεις μορίων που συγκροτούν ένα αέριο και δίνες στη ροή ρευστού.

Αναρωτήθηκε λοιπόν εάν τα αναδυόμενα ομαδικά φαινόμενα σε μεγάλες συλλογές νευρώνων θα μπορούσαν να προκαλέσουν «υπολογιστικές» ικανότητες. Σημειώνοντας ότι οι συλλογικές ιδιότητες σε πολλά φυσικά συστήματα είναι ανθεκτικές σε αλλαγές στις λεπτομέρειες του μοντέλου και απάντησε αυτό το ερώτημα χρησιμοποιώντας ένα νευρωνικό δίκτυο με N δυαδικούς κόμβους  (0 ή 1). Η δυναμική ήταν ασύγχρονη με ενημερώσεις κατωφλίου μεμονωμένων κόμβων σε τυχαίους χρόνους. Η νέα τιμή ενός κόμβου(και αυτό ήταν κάτι πρωτότυπο) προσδιοριζόταν από ένα σταθμισμένο άθροισμα από όλους τους άλλους κόμβους. Ταυτόχρονα παρατήρησε ότι οι συλλογικές ιδιότητες σε πολλά φυσικά συστήματα είναι ανθεκτικές σε αλλαγές στις λεπτομέρειες του μοντέλου. Η νέα τιμή ενός κόμβου που προσδιοριζόταν από το σταθμισμένο άθροισμα σε όλους τους άλλους κόμβους ήταν αρκετά «σίγουρη».

Ο Χόπφιλντ χρησιμοποίησε το μοντέλο του ως συσχετιστική μνήμη (associative memory) ή ως μέθοδο διόρθωσης σφαλμάτων ή συμπλήρωσης προτύπων. Ένα σύστημα που έχει εισαχθεί με εσφαλμένο μοτίβο, ίσως μια ανορθόγραφη λέξη, προσελκύεται στο πλησιέστερο τοπικό ελάχιστο ενεργειακό επίπεδο(άρα στο πιο σταθερό), οπότε τότε λαμβάνει χώρα μια διόρθωση. Το μοντέλο κέρδισε πρόσθετη έλξη όταν έγινε σαφές ότι βασικές ιδιότητες, όπως η χωρητικότητα αποθήκευσης, μπορούσαν να δώσουν την δυνατότητα να αποθηκεύονται πολλά πρότυπα σε παράλληλη διάταξη.

Στην συνέχεια μεταξύ εισόδου και εξόδου στο νευρωνικό δίκτυο παρενεβλήθησαν τα κρυφά στρώματα. Που θα μπορούσαν να εκπαιδευτούν για ταξινόμηση χρησιμοποιώντας έναν αλγόριθμο γνωστό ως backpropagation. Εδώ, ο στόχος ήταν να ελαχιστοποιηθεί η απόκλιση, μεταξύ της εισόδου και της εξόδου από το νευρωνικό δίκτυο. Επιπλέον, και το πιο σημαντικό, με την ομάδα του απέδειξαν ότι τα δίκτυα με ένα κρυφό επίπεδο μπορούσαν να λύσουν προβλήματα που εθεωρούντο άλυτα.

Οι μεθοδολογικές ανακαλύψεις στη δεκαετία του 1980 ακολουθήθηκαν σύντομα από επιτυχημένες εφαρμογές, συμπεριλαμβανομένης της αναγνώρισης προτύπων σε εικόνες, γλώσσες και κλινικά δεδομένα. Μια σημαντική μέθοδος ήταν τα πολυεπίπεδα συνελικτικά νευρωνικά δίκτυα (CNN) που εκπαιδεύονται με οπίσθια διάδοση.

Η σκυτάλη στον Τζόφρυ Χίντον

Ενώ ορισμένες πολυεπίπεδες αρχιτεκτονικές οδήγησαν σε επιτυχημένες εφαρμογές στη δεκαετία του 1990, παρέμεναν οι προκλήσεις για την εκπαίδευση σε βαθιά πολυεπίπεδα δίκτυα με πολλές συνδέσεις μεταξύ διαδοχικών στρωμάτων. Σε πολλούς ερευνητές του πεδίου, η εκπαίδευση σε πυκνά πολυεπίπεδα δίκτυα φαινόταν εκτός λειτουργίας.  Η κατάσταση άλλαξε τη δεκαετία του 2000. Ηγετική φυσιογνωμία σε αυτή την ανακάλυψη ήταν ο Hinton,και ένα σημαντικό εργαλείο ήταν η λεγόμενη περιορισμένη μηχανή Boltzmann (RBM).

Η μηχανή Boltzmann είναι ένα μοντέλο παραγωγής προτύπων. Αλλά σε αντίθεση με το μοντέλο Hopfield, εστιάζει σε στατιστικές κατανομές προτύπων και όχι σε μεμονωμένα μοτίβα. Περιέχει ορατούς κόμβους που αντιστοιχούν στα μοτίβα προς εκμάθηση καθώς και πρόσθετους κρυφούς κόμβους, όπου οι τελευταίοι περιλαμβάνονται για να επιτρέψουν τη μοντελοποίηση πιο γενικών κατανομών πιθανοτήτων.

Εξέλιξη της μηχανής Boltzmann υπήρξε η «περιορισμένη μηχανή Boltzmann» (RBM) που έγινε από τον Χίντον και τους συνεργάτες του. Ένα δίκτυο RBM έχει βάρη μόνο μεταξύ ορατών και κρυφών κόμβων και κανένα βάρος δεν συνδέει δύο κόμβους του ίδιου τύπου. Για τα RBM, ο Hinton δημιούργησε έναν αποτελεσματικό κατά προσέγγιση αλγόριθμο μάθησης , που ονομάζεται αντιθετική απόκλιση, ο οποίος ήταν πολύ ταχύτερος από τους προηγούμενους. Η πόρτα για την εξέλιξη τεράστιων πλέον προγραμμάτων τεχνητής νοημοσύνης με νευρωνικά δίκτυα δισεκατομμυρίων, ναι, κόμβων άνοιξε διάπλατα.

Οι αμήχανες στιγμές για την επιτροπή του  Νομπέλ

Στην διάρκεια της παρουσίασης σήμερα των δυο επιστημόνων ο πρόεδρος της επιτροπής πέρασε δυο δύσκολες στιγμές. Η μια ήταν αναμενόμενη και αντιμετωπίσημη. Διότι πολλοί θα ρωτούσαν και τί σχέση έχει η Τεχνητή Νοημοσύνη με την Φυσική; Δεν γνωρίζουμε βέβαια τους λόγους που οι Σουηδοί ακαδημαϊκοί αγνόησαν άλλα επιτεύγματα και προέκριναν τα νευρωνικά δίκτυα, αλλά σίγουρα η επιλογή τους παραξένεψε. Ήταν όμως έτοιμοι γι’ αυτό και τόνισαν όσο μπορούσαν περισσότερο το ότι η αρχική και γενεσιουργός σκέψη και στους δυο επιστήμονες, είχε σχέση με την Φυσική και τις γνώσεις τους αρχικά σε τομείς όπως ο μαγνητισμός, οι περιοχές Weiss στους μαγνήτες και οι δίνες στους στροβίλους. Πάει καλά έως εδώ.

Η επόμενη στιγμή αμηχανίας όμως ήταν αρκετά πιο επώδυνη. Διότι όταν βγήκε στο τηλέφωνο ο Τζόφρυ Χίντον, γνωστός επικριτής και σκεπτικιστής ως προς τον δρόμο που πάει να πάρει η τεχνητή νοημοσύνη(τον ίδιο πάντως τον αποκαλούν στην Αμερική και Godfather of AI),  η τελευταία ερώτηση που του έγινε από δημοσιογράφο ήταν σχετική με την συνέντευξη που είχε δώσει στους New York Times τον περασμένο Μάιο όπου έλεγε ότι έχει μετανοήσει για την ΑΙ. «Πώς αισθάνεστε σήμερα;» ήταν η ερώτηση. Θα ήθελε δηλαδή να γυρίσει πίσω και να αλλάξει κάτι;

Εκείνος απήντησε, χωρίς να σκεφθεί και τους οικοδεσπότες  ότι «υπάρχουν δυο είδη ενοχής (και αντίστοιχα μετάνοιας). Το ένα είναι να μετανιώσεις για κάτι που δεν  έπρεπε να διαπράξεις και το άλλο είναι αν θα έκανες ξανά κάτι  κάτω από τις ίδιες συνθήκες που κατέληξε όμως με λάθος τρόπο. Γι’ αυτό το δεύτερο είναι σήμερα οι ενδοιασμοί μου”, είπε. «Κάποια συστήματα ΑΙ μπορεί να καταλήξουν εκτός ελέγχου».

Το οδυνηρό ήταν προφανώς ότι αυτά ειπώθηκαν μέσα στο Ίδρυμα του Άλφρεντ Νομπέλ που ο λόγος ύπαρξής του είναι ακριβώς λόγω των ενοχών που ένιωσε ο ίδιος μετά από την εφεύρεσή του.

ΠΗΓΗ: www.tovima.gr