Για παραπομπές στην έρευνα, δεν υπάρχει πρόβλημα με την αναπαραγωγή

Κατά την τελευταία δεκαετία, κατέστη προφανές ότι ορισμένοι τομείς έρευνας είχαν κάποια προβλήματα με την αναπαραγωγή. Τα δημοσιευμένα αποτελέσματα δεν επέζησαν πάντα από τις προσπάθειες επανάληψης των δοκιμών. Το μέγεθος του προβλήματος ήταν Θέμα συζήτησηςΩς εκ τούτου, έχουν διαμορφωθεί διάφορα προγράμματα αναπαραγωγής για την παροχή σταθερών αριθμών. Τα αποτελέσματα δεν ήταν υπέροχα, καθώς τα περισσότερα από αυτά τα βρήκαν Μόνο περίπου τα μισά Οι δημοσιευμένες μελέτες μπορούν να αναπαραχθούν.

Αυτά τα προγράμματα αναπαραγωγής πρέπει να εξυπηρετούν δύο σκοπούς. Τονίζουν τη σημασία της διασφάλισης της αναπαραγωγής των αποτελεσμάτων για επιστημονικούς χρηματοδότες και εκδότες, οι οποίοι είναι απρόθυμοι να υποστηρίξουν αυτό που θα μπορούσε να θεωρηθεί επαναλαμβανόμενη έρευνα. Πρέπει να ενθαρρύνουν τους ερευνητές να ενσωματώσουν εσωτερικές επιπλοκές στα ερευνητικά τους σχέδια. Τέλος, θα πρέπει να είναι προσεκτικοί να βασίζονται σε έρευνα που έχει ήδη αποδειχθεί ότι έχει προβλήματα με την επανάληψη.

Ενώ έχει σημειωθεί κάποια πρόοδος στους δύο πρώτους σκοπούς, η τελευταία πτυχή φαίνεται να εξακολουθεί να αποτελεί πρόβλημα, σύμφωνα με δύο ερευνητές στο Πανεπιστήμιο της Καλιφόρνια στο Σαν Ντιέγκο.

Μια λέξη δεν βγαίνει

Οι δύο ερευνητές πίσω από το νέο έργο, η Marta Serra Garcia και ο Uri Genesi, ξεκίνησαν με τρία μεγάλα έργα αναπαραγωγής: το ένα επικεντρώθηκε στα οικονομικά, το άλλο στην ψυχολογία και το άλλο στη γενική επιστήμη. Κάθε έργο πήρε ένα σύνολο δημοσιευμένων ευρημάτων στο πεδίο και προσπάθησε να αναπαραγάγει ένα μεγάλο πείραμα από αυτό. Και κάπου περίπου το ήμισυ του χρόνου, οι προσπάθειες αναπαραγωγής έχουν αποτύχει.

Αυτό δεν σημαίνει ότι οι αρχικές δημοσιεύσεις ήταν ψευδείς ή άχρηστες. Οι περισσότερες δημοσιεύσεις δημιουργήθηκαν από μια ομάδα πειραμάτων και όχι από μία ομάδα, επομένως είναι πιθανό ότι εξακολουθούν να υπάρχουν έγκυρα και χρήσιμα δεδομένα σε κάθε έγγραφο. Όμως, ακόμη και σε αυτήν την περίπτωση, το αρχικό έργο πρέπει να προσεγγιστεί με αυξημένη υποψία. Εάν κάποιος αναφέρει το πρωτότυπο έργο στα δικά του έγγραφα, είναι πιθανό ότι δεν θα επαναληφθεί.

Η Serra Garcia και η Genesi αποφασίζουν ότι θέλουν να μάθουν: Αναφέρονται ακόμη έγγραφα που περιέχουν πειράματα που απέτυχαν να αναπαραχθούν και αν ναι, αναφέρεται αυτή η αποτυχία;

Η απάντηση σε αυτά τα ερωτήματα περιελάμβανε εκτεταμένη βιβλιογραφική έρευνα, με τους συγγραφείς να κυνηγούν χαρτιά που ανέφεραν χαρτιά που είχαν χρησιμοποιηθεί σε μελέτες αναπαραγωγής και να εξετάσουν αν αυτοί με προβλήματα παρατηρήθηκαν ως τέτοιοι. Η σύντομη απάντηση είναι ότι τα νέα δεν είναι καλά. Η μεγαλύτερη απάντηση είναι ότι σχεδόν τίποτα σε αυτήν την έρευνα δεν φαίνεται καλό.

Τα δεδομένα με τα οποία έπρεπε να συνεργαστούν οι Serra-Garcia και Gneezy περιελάμβαναν ένα μείγμα μελετών με ορισμένα θέματα μεταγραφής και εκείνα που, τουλάχιστον όσο γνωρίζουμε, εξακολουθούν να ισχύουν. Έτσι ήταν σχετικά εύκολο να συγκρίνουμε τις διαφορές στις παραπομπές για αυτές τις δύο ομάδες και να δούμε αν προέκυψαν τάσεις.

Μια σαφής τάση ήταν η τεράστια διαφορά στις παραπομπές. Αυτές οι μελέτες με θέματα μεταγραφής αναφέρθηκαν 153 φορές Συχνά Από αυτά που αντιγράφηκαν καθαρά. Στην πραγματικότητα, όσο καλύτερη είναι η εμπειρία που επαναλήφθηκε, τόσο λιγότερες παραθέσεις έλαβε. Το αποτέλεσμα ήταν μεγαλύτερο για την έρευνα που δημοσιεύθηκε στα αξιόπιστα περιοδικά Nature and Science.

Λείπει το προφανές

Αυτό θα ήταν καλό εάν περισσότερες από αυτές τις αναφορές περιγράφουν τα προβλήματα αναπαραγωγής. Όμως δεν είναι. Μόνο το 12 τοις εκατό των παραπομπών που έγιναν μετά την αντιγραφή ζητημάτων σε χαρτί έγινε γνωστό αναφέρουν αυτό το πρόβλημα καθόλου.

Θα ήταν ωραίο να σκεφτούμε ότι μόνο έγγραφα χαμηλότερης ποιότητας αναφέρουν έγγραφα που έχουν προβλήματα αντιγραφής. Προφανώς αυτό δεν συμβαίνει. Για άλλη μια φορά, μια σύγκριση ομάδων εφημερίδων που αναφέρουν διπλές ή μη αναπαραγόμενες εμπειρίες δεν οδήγησε σε σημαντική διαφορά στο κύρος των περιοδικών στα οποία δημοσιεύθηκαν. Και δύο σετ χαρτιών κατέληξαν να λαμβάνουν ίσο αριθμό παραπομπών.

Ως εκ τούτου, σε γενικές γραμμές, φαίνεται ότι οι ερευνητές είτε δεν γνωρίζουν τα ζητήματα μεταγραφής, είτε δεν τα βλέπουν ως αρκετά σοβαρά για να αποφύγουν να αναφέρουν το άρθρο. Υπάρχουν πολλοί πιθανοί συνεισφέροντες εδώ. Σε αντίθεση με τις λειτουργίες αναίρεσης, τα περισσότερα περιοδικά δεν έχουν τρόπο να δείξουν ότι η ανάρτηση έχει πρόβλημα αναπαραγωγής. Και οι ίδιοι οι ερευνητές θα μπορούσαν απλώς να διατηρήσουν έναν τυπικό κατάλογο αναφορών στον διαχειριστή βάσεων δεδομένων, αντί να ελέγξουν ξανά την κατάστασή τους (ένας ενοχλητικός αριθμός εγγράφων που έχουν τραβηχτεί εξακολουθεί να λαμβάνει παραπομπές, οπότε υπάρχει σαφώς ένα πρόβλημα εδώ).

Ωστόσο, η πρόκληση είναι να βρούμε πώς να διορθώσουμε το πρόβλημα αναπαραγωγής. Ορισμένα περιοδικά έχουν καταβάλει προσπάθειες για τη δημοσιοποίηση των επιπλοκών και οι ίδιοι οι ερευνητές φαίνεται να έχουν την τάση να ενσωματώνουν διπλά αντίγραφα της εργασίας τους στις κύριες μελέτες τους. Αλλά η εκπαίδευση όλων και η προειδοποίησή τους για τις συνέπειες που δεν μπορούν να αναπαραχθούν είναι μια πρόκληση χωρίς σαφή λύση.

Science Advances, 2021. DOI: 10.1126 / sciadv.abd1705 (Σχετικά με τα DOI).