Đánh giá đồng cấp học thuật

Hồ sơ đầu tiên về một cuộc bình duyệt trước khi xuất bản là từ năm 1665 của Henry Oldenburg , biên tập viên sáng lập của Giao dịch Triết học của Hiệp hội Hoàng gia tại Hiệp hội Hoàng gia London . ^{[9] [10] [11]}

Ấn phẩm đầu tiên được đánh giá ngang hàng có thể là Các tiểu luận và Quan sát Y khoa được xuất bản bởi Hiệp hội Hoàng gia Edinburgh vào năm 1731. Hệ thống bình duyệt ngày nay đã phát triển từ quy trình của thế kỷ 18 này, ^[12] bắt đầu có sự tham gia của các nhà đánh giá bên ngoài trong giữa thế kỷ 19, ^[13] và không trở nên phổ biến cho đến giữa thế kỷ 20. ^[14]

Phản biện ngang hàng đã trở thành một tấm nền của phương pháp khoa học , nhưng cho đến cuối thế kỷ 19 thường do tổng biên tập hoặc ủy ban biên tập trực tiếp thực hiện . ^{[15] [16] [17] Các} biên tập viên của các tạp chí khoa học vào thời điểm đó đã đưa ra quyết định xuất bản mà không cần tìm kiếm thông tin đầu vào từ bên ngoài, tức là một hội đồng phản biện bên ngoài, cho phép các tác giả thành danh theo quyết định báo chí của họ. Ví dụ, bốn bài báo mang tính cách mạng Annus Mirabilis của Albert Einstein trong số báo Annalen der Physik năm 1905 đã được tổng biên tập của tạp chí, Max Planck , và đồng biên tập của nó, Wilhelm Wien , cả hai đều đoạt giải Nobel trong tương lai, bình duyệt. và cùng các chuyên gia về các chủ đề của các bài báo này. Vào một dịp sau đó, Einstein đã nghiêm khắc chỉ trích quá trình đánh giá bên ngoài, nói rằng ông đã không ủy quyền cho tổng biên tập để đưa bản thảo của mình "cho các chuyên gia trước khi nó được in", và thông báo với ông rằng ông sẽ "xuất bản bài báo ở nơi khác "—Mà anh ấy đã làm, và thực tế là sau đó anh ấy đã phải rút lại ấn phẩm. ^[18]

Trong khi một số tạp chí y khoa bắt đầu chỉ định một cách có hệ thống các chuyên gia đánh giá bên ngoài, thì chỉ từ giữa thế kỷ 20, thực hành này mới được phổ biến rộng rãi và các chuyên gia phản biện bên ngoài đã được hiển thị trong các tạp chí học thuật, bao gồm cả việc được các tác giả và biên tập viên cảm ơn. ^{[15] [19]} Một bài xã luận năm 2003 trên tạp chí Nature nói rằng, vào đầu thế kỷ 20, "gánh nặng chứng minh thường thuộc về những người phản đối hơn là những người đề xuất ý tưởng mới." ^[20] Bản thân Nature chỉ thiết lập đánh giá ngang hàng chính thức vào năm 1967. ^[21] Các tạp chí như Khoa học và Tạp chí Y học Hoa Kỳ ngày càng dựa vào các nhà bình duyệt bên ngoài trong những năm 1950 và 1960, một phần để giảm bớt khối lượng công việc biên tập. ^[19] Trong thế kỷ 20, đánh giá đồng cấp cũng trở nên phổ biến đối với việc phân bổ tài trợ khoa học. Quá trình này dường như đã phát triển độc lập với quá trình đánh giá đồng cấp của biên tập viên. ^{[9] : 221}

Gaudet ^[22] cung cấp một cái nhìn khoa học xã hội về lịch sử của phản biện đồng nghiệp có xu hướng cẩn thận đối với những gì đang được điều tra, ở đây là đánh giá đồng cấp, và không chỉ xem xét những điểm chung hời hợt hoặc hiển nhiên giữa thẩm tra, kiểm duyệt và bình duyệt tạp chí. Nó được xây dựng dựa trên nghiên cứu lịch sử của Gould, ^[23] Biagioli, ^[24] Spier, ^[17] và Rip. ^[25] Đại hội phản biện ngang hàng lần đầu tiên họp vào năm 1989. ^[26] Theo thời gian, tỷ lệ các bài báo dành cho phản biện đều giảm dần, cho thấy rằng với tư cách là một lĩnh vực nghiên cứu xã hội học, nó đã được thay thế bằng các nghiên cứu có hệ thống hơn về sự thiên vị và các lỗi. ^[2] Song song với các định nghĩa "kinh nghiệm chung" dựa trên nghiên cứu đánh giá ngang hàng là một "quá trình được xây dựng trước", một số nhà khoa học xã hội đã xem xét đánh giá ngang hàng mà không coi nó là được xây dựng trước. Hirschauer đề xuất rằng bình duyệt tạp chí có thể được hiểu là trách nhiệm giải trình có đi có lại của các đánh giá giữa các đồng nghiệp. ^[27] Gaudet đề xuất rằng bình duyệt tạp chí có thể được hiểu như một hình thức xã hội của phán xét ranh giới - xác định những gì có thể được coi là khoa học (hoặc không) được đặt ra dựa trên một hệ thống kiến ​​thức bao quát, và tuân theo các hình thức thẩm tra và kiểm duyệt trước đó. ^{[22] [ nguồn tự xuất bản? ]}

Về mặt thực dụng, đánh giá ngang hàng đề cập đến công việc được thực hiện trong quá trình sàng lọc các bản thảo đã nộp . Quá trình này khuyến khích các tác giả đáp ứng các tiêu chuẩn được chấp nhận trong lĩnh vực kỷ luật của họ và giảm việc phổ biến các phát hiện không liên quan, tuyên bố không có cơ sở, cách giải thích không được chấp nhận và quan điểm cá nhân. Các ấn phẩm chưa trải qua bình duyệt có thể bị các học giả và chuyên gia học thuật coi là nghi ngờ. ^{[ cần dẫn nguồn ]} Công việc không được bình duyệt không đóng góp, hoặc đóng góp ít hơn, vào tín chỉ học thuật của học giả như chỉ số h , mặc dù điều này phụ thuộc nhiều vào lĩnh vực.

Rất khó cho các tác giả và nhà nghiên cứu, dù là cá nhân hay trong một nhóm, có thể phát hiện ra mọi sai sót hoặc sai sót trong một tác phẩm phức tạp. Điều này không nhất thiết phải là sự phản ánh đối với những người có liên quan, nhưng bởi vì với một chủ đề mới và có lẽ là chiết trung, cơ hội để cải thiện có thể rõ ràng hơn đối với những người có chuyên môn đặc biệt hoặc những người chỉ đơn giản là nhìn nó với con mắt mới mẻ. Do đó, việc thể hiện công việc cho người khác làm tăng khả năng các điểm yếu sẽ được xác định và cải thiện. Đối với cả tài trợ và xuất bản trên một tạp chí học thuật, thông thường cũng có một yêu cầu là chủ đề này vừa mới lạ vừa thực chất. ^{[28] [29]}

Quyết định có xuất bản một bài báo học thuật hay không, hoặc những gì nên được sửa đổi trước khi xuất bản, cuối cùng nằm ở nhà xuất bản ( tổng biên tập hoặc ban biên tập ) mà bản thảo đã được gửi đến. Tương tự như vậy, quyết định tài trợ hay không cho một dự án được đề xuất thuộc về một quan chức của cơ quan tài trợ. Những cá nhân này thường tham khảo ý kiến ​​của một hoặc nhiều người đánh giá trong việc đưa ra quyết định của họ. Điều này chủ yếu vì ba lý do: ^{[ cần dẫn nguồn ]}

• Khối lượng công việc. Một nhóm nhỏ các biên tập viên / giám định viên không thể dành đủ thời gian cho mỗi bài báo gửi đến nhiều tạp chí.
• Sai lệch về ý tưởng. Nếu người biên tập / người đánh giá tự đánh giá tất cả các tài liệu được gửi, tài liệu được phê duyệt sẽ chỉ phản ánh ý kiến ​​của họ.
• Chuyên môn hạn chế. Một biên tập viên / người đánh giá không thể được mong đợi là đủ chuyên gia trong tất cả các lĩnh vực được một tạp chí hoặc cơ quan tài trợ bao phủ để đánh giá đầy đủ tất cả các tài liệu đã nộp.

Người phản biện thường ẩn danh và độc lập . Tuy nhiên, một số người đánh giá có thể chọn từ bỏ danh tính của họ và trong những trường hợp hạn chế khác, chẳng hạn như xem xét khiếu nại chính thức chống lại trọng tài hoặc lệnh của tòa án, danh tính của người đánh giá có thể phải được tiết lộ. Ẩn danh có thể là đơn phương hoặc có đi có lại (đánh giá đơn hoặc mù đôi ). ^{[ cần dẫn nguồn ]}

Vì người đánh giá thường được chọn từ các chuyên gia trong các lĩnh vực được thảo luận trong bài báo, nên quá trình đánh giá ngang hàng giúp loại bỏ một số tuyên bố không hợp lệ hoặc không có cơ sở ra khỏi nội dung của nghiên cứu và kiến ​​thức đã xuất bản. Các học giả sẽ đọc các bài báo đã xuất bản bên ngoài lĩnh vực chuyên môn chi tiết hạn chế của họ, và sau đó, ở một mức độ nào đó, dựa vào quá trình bình duyệt để đưa ra nghiên cứu đáng tin cậy và đáng tin cậy mà họ có thể xây dựng cho các nghiên cứu tiếp theo hoặc liên quan. Vụ bê bối nghiêm trọng xảy ra khi một tác giả bị phát hiện đã làm sai lệch nghiên cứu được đưa vào một bài báo, vì các học giả khác và bản thân lĩnh vực nghiên cứu, có thể đã dựa vào nghiên cứu không hợp lệ. ^{[ cần dẫn nguồn ]}

Đối với các trường đại học Hoa Kỳ, đánh giá ngang hàng sách trước khi xuất bản là một yêu cầu để trở thành thành viên đầy đủ của Hiệp hội các Nhà xuất bản Đại học Hoa Kỳ . ^[30]

Trong trường hợp xuất bản phẩm được đề xuất, nhà xuất bản ( tổng biên tập hoặc ban biên tập , thường với sự hỗ trợ của các biên tập viên tương ứng hoặc liên kết) gửi bản sao trước của tác phẩm hoặc ý tưởng của tác giả cho các nhà nghiên cứu hoặc học giả là chuyên gia trong lĩnh vực này (được biết với tư cách là "trọng tài" hoặc "phản biện"). Liên lạc thông thường bằng e-mail hoặc thông qua hệ thống xử lý bản thảo dựa trên web như ScholarOne , Scholastica hoặc Open Journal Systems . Tùy thuộc vào lĩnh vực nghiên cứu và trên tạp chí cụ thể, thường có một đến ba trọng tài cho một bài báo nhất định. Ví dụ, Springer nói rằng có hai hoặc ba người đánh giá trên mỗi bài báo. ^[31]

Quy trình đánh giá ngang hàng bao gồm ba bước: ^[32]

Bước 1: Đánh giá bàn làm việc

Một biên tập viên đánh giá bản thảo để đánh giá liệu bài báo có được chuyển cho các trọng tài tạp chí hay không. Ở giai đoạn này, nhiều bài báo nhận được "bàn từ chối", tức là người biên tập chọn không chuyển bài báo đó. Các tác giả có thể nhận được hoặc có thể không nhận được thư giải thích.

Việc từ chối tại bàn nhằm mục đích là một quá trình được sắp xếp hợp lý để các biên tập viên có thể chuyển nhanh các bản thảo không thể tồn tại trước đó và tạo cơ hội cho các tác giả theo đuổi một tạp chí phù hợp hơn. Ví dụ: các biên tập viên của Tạp chí Kế toán Châu Âu đặt mỗi bản thảo ba câu hỏi để quyết định xem một bản thảo có được chuyển tới các trọng tài hay không: 1) Bài báo có phù hợp với mục tiêu và phạm vi của tạp chí hay không, 2) là nội dung bài báo (ví dụ như đánh giá tài liệu, phương pháp , kết luận) đầy đủ và bài báo có đóng góp đáng giá vào phần lớn hơn của tài liệu hay không, và 3) nó có tuân theo định dạng và đặc điểm kỹ thuật không? Nếu “không” với bất kỳ điều nào trong số này, bản thảo sẽ nhận được sự từ chối của bàn. ^[33]

Tỷ lệ từ chối bàn khác nhau tùy theo tạp chí. Ví dụ, vào năm 2017, các nhà nghiên cứu tại Ngân hàng Thế giới đã tổng hợp tỷ lệ từ chối của một số tạp chí kinh tế toàn cầu; tỷ lệ từ chối bàn làm việc dao động từ 21% ( Lacea kinh tế ) đến 66% ( Tạp chí Kinh tế phát triển ). ^[34] Các American Psychological Association công bố tỷ lệ từ chối cho một số ấn lớn trong lĩnh vực này, và mặc dù họ không rõ liệu việc loại bỏ là thẩm định trước hoặc hậu bàn, con số của họ vào năm 2016 dao động từ mức thấp 49% lên mức cao 90%. ^[35]

Bước 2: Đánh giá bên ngoài

Nếu bài báo không bị từ chối, các biên tập viên gửi bản thảo cho các trọng tài, những người được chọn vì chuyên môn của họ và khoảng cách với các tác giả. Tại thời điểm này, các trọng tài có thể từ chối, chấp nhận mà không cần thay đổi (hiếm) ^[36] hoặc hướng dẫn các tác giả chỉnh sửa và gửi lại.

Các lý do khác nhau để các biên tập viên chấp nhận một bài báo, nhưng Elsevier đã xuất bản một bài báo trong đó ba biên tập viên cân nhắc các yếu tố thúc đẩy sự chấp nhận bài báo. Những yếu tố này bao gồm việc liệu bản thảo: cung cấp “cái nhìn sâu sắc mới về một vấn đề quan trọng”, sẽ hữu ích cho các học viên, tiến bộ hoặc đề xuất một lý thuyết mới, đặt ra các câu hỏi mới, có phương pháp và kết luận phù hợp, trình bày một lập luận tốt dựa trên tài liệu, và kể một câu chuyện hay. Một biên tập viên lưu ý rằng anh ấy thích những tờ báo mà anh ấy “ước gì mình đã làm được”. ^[37]

Mỗi trọng tài này trả lại một đánh giá về công việc cho người biên tập, ghi nhận những điểm yếu hoặc vấn đề cùng với các đề xuất để cải thiện. Thông thường, hầu hết các nhận xét của trọng tài cuối cùng đều được tác giả nhìn thấy, mặc dù trọng tài cũng có thể gửi các nhận xét ' chỉ cho mắt bạn ' đến nhà xuất bản; các tạp chí khoa học hầu như tuân theo quy ước này. Người biên tập sau đó sẽ đánh giá các nhận xét của trọng tài, ý kiến ​​của cô ấy hoặc của riêng anh ấy về bản thảo trước khi chuyển lại quyết định cho (các) tác giả, thường là với các nhận xét của trọng tài. ^[38]

Các đánh giá của các trọng tài thường bao gồm một khuyến nghị rõ ràng về những việc cần làm với bản thảo hoặc đề xuất, thường được chọn từ các phương án do tạp chí hoặc cơ quan tài trợ cung cấp. Ví dụ, Nature đề xuất bốn cách hành động: ^[39]

• chấp nhận vô điều kiện bản thảo hoặc đề xuất,
• chấp nhận nó trong trường hợp tác giả của nó cải thiện nó theo những cách nhất định
• từ chối nó, nhưng khuyến khích sửa đổi và mời gửi lại
• để từ chối nó hoàn toàn.

Trong quá trình này, vai trò của các trọng tài là cố vấn. (Các) biên tập viên thường không có nghĩa vụ phải chấp nhận ý kiến ​​của các trọng tài, ^[40] mặc dù họ thường làm như vậy. Hơn nữa, các trọng tài trong công bố khoa học không hoạt động như một nhóm, không giao tiếp với nhau và thường không biết về danh tính hoặc đánh giá của nhau. Những người ủng hộ lập luận rằng nếu những người đánh giá một bài báo không quen biết nhau, thì (những) người biên tập có thể dễ dàng xác minh tính khách quan của các đánh giá hơn. Thường không có yêu cầu nào là các trọng tài phải đạt được sự đồng thuận , thay vào đó, quyết định thường được đưa ra bởi (các) biên tập viên dựa trên đánh giá tốt nhất của cô ấy về các lập luận.

Trong các tình huống mà nhiều trọng tài không đồng ý về cơ bản về chất lượng của tác phẩm, có một số chiến lược để đưa ra quyết định. Bài báo có thể bị từ chối hoàn toàn, hoặc người biên tập có thể chọn quan điểm của người đánh giá mà tác giả nên giải quyết. ^[41] Khi một nhà xuất bản nhận được các đánh giá rất tích cực và rất tiêu cực cho cùng một bản thảo, người biên tập thường sẽ trưng cầu một hoặc nhiều đánh giá bổ sung với tư cách là người kết thúc. Là một chiến lược khác trong trường hợp ràng buộc, nhà xuất bản có thể mời các tác giả trả lời các chỉ trích của trọng tài và cho phép một lời phản bác thuyết phục để phá vỡ sự ràng buộc. Nếu nhà xuất bản không cảm thấy tự tin để cân nhắc tính thuyết phục của một phản bác, nhà xuất bản có thể yêu cầu phản hồi từ trọng tài đã đưa ra lời chỉ trích ban đầu. Biên tập viên có thể chuyển tải thông tin liên lạc qua lại giữa các tác giả và trọng tài, trên thực tế, cho phép họ tranh luận về một điểm. ^[42]

Tuy nhiên, ngay cả trong những trường hợp này, nhà xuất bản không cho phép nhiều trọng tài trao đổi với nhau, mặc dù mỗi người đánh giá thường có thể xem các nhận xét trước đó do những người đánh giá khác gửi. Mục tiêu của quy trình rõ ràng không phải là đạt được sự đồng thuận hoặc thuyết phục bất kỳ ai thay đổi ý kiến ​​của họ, mà thay vào đó là cung cấp tài liệu cho một quyết định biên tập sáng suốt. Một nghiên cứu ban đầu liên quan đến sự bất đồng trọng tài cho thấy rằng sự đồng ý lớn hơn cơ hội, nếu không muốn nói là lớn hơn nhiều so với cơ hội, dựa trên sáu trong bảy thuộc tính của bài báo (ví dụ như đánh giá tài liệu và khuyến nghị cuối cùng để xuất bản), ^[43] nhưng nghiên cứu này nhỏ và nó đã được tiến hành chỉ trên một tạp chí. Ít nhất một nghiên cứu đã phát hiện ra rằng sự bất đồng của người đánh giá là không phổ biến, nhưng nghiên cứu này cũng nhỏ và chỉ trên một tạp chí. ^[44]

Theo truyền thống, người đánh giá thường giấu tên tác giả, nhưng tiêu chuẩn này thay đổi theo thời gian và lĩnh vực học thuật. Trong một số lĩnh vực học thuật, hầu hết các tạp chí cung cấp cho người đánh giá tùy chọn ẩn danh hoặc không, hoặc trọng tài có thể chọn ký đánh giá, do đó từ bỏ ẩn danh. Các bài báo đã xuất bản đôi khi chứa, trong phần ghi nhận, cảm ơn các trọng tài ẩn danh hoặc có tên đã giúp cải thiện bài báo. Ví dụ, tạp chí Nature cung cấp tùy chọn này. ^[39]

Đôi khi các tác giả có thể loại trừ một số người đánh giá nhất định: một nghiên cứu được thực hiện trên Tạp chí Da liễu Điều tra cho thấy rằng việc loại trừ những người đánh giá đã tăng gấp đôi cơ hội chấp nhận bài báo. ^[45] Một số học giả không thoải mái với ý tưởng này, cho rằng nó làm sai lệch quy trình khoa học. Những người khác cho rằng nó bảo vệ chống lại những trọng tài có thành kiến ​​theo một cách nào đó (ví dụ như đối thủ chuyên nghiệp, thù hận). ^[46] Trong một số trường hợp, tác giả có thể chọn trọng tài cho bản thảo của họ. mSphere , một tạp chí truy cập mở về khoa học vi sinh vật, đã chuyển sang mô hình này. Tổng biên tập Mike Imperiale cho biết quy trình này được thiết kế để giảm thời gian xem xét các bài báo và cho phép các tác giả lựa chọn những người đánh giá thích hợp nhất. ^[47] Nhưng một vụ bê bối vào năm 2015 cho thấy cách những người đánh giá lựa chọn này có thể khuyến khích các đánh giá gian lận. Các đánh giá giả mạo đã được gửi đến Tạp chí Hệ thống Renin-Angiotensin-Aldosterone dưới danh nghĩa của những người đánh giá do tác giả đề xuất, khiến tạp chí loại bỏ tùy chọn này. ^[48]

Bước 3: Sửa đổi

Nếu bản thảo không bị từ chối trong quá trình đánh giá ngang hàng, bản thảo sẽ được trả lại cho các tác giả để sửa đổi. Trong giai đoạn này, các tác giả giải quyết các mối quan tâm của người đánh giá. Tiến sĩ William Stafford Noble đưa ra mười quy tắc để trả lời người đánh giá. Các quy tắc của anh ta bao gồm: ^[49]

1. "Cung cấp thông tin tổng quan, sau đó trích dẫn toàn bộ các bài đánh giá"
2. “Hãy lịch sự và tôn trọng tất cả những người đánh giá”
3. "Chấp nhận đổ lỗi"
4. “Làm cho câu trả lời trở nên khép kín”
5. “Phản hồi mọi điểm do người đánh giá đưa ra”
6. “Sử dụng kiểu chữ để giúp người đánh giá điều hướng câu trả lời của bạn”
7. “Bất cứ khi nào có thể, hãy bắt đầu phản hồi của bạn cho từng nhận xét bằng câu trả lời trực tiếp cho vấn đề được nêu ra”
8. “Khi có thể, hãy làm những gì người đánh giá yêu cầu”
9. “Hãy rõ ràng về những gì đã thay đổi so với phiên bản trước”
10. “Nếu cần, hãy viết câu trả lời hai lần” (tức là viết một phiên bản để “xả hơi” nhưng sau đó viết một phiên bản mà người đánh giá sẽ thấy)

Tại một tạp chí hoặc nhà xuất bản sách, nhiệm vụ chọn người đánh giá thường thuộc về một biên tập viên . ^[50] Khi có bản thảo, người biên tập trưng cầu ý kiến ​​đánh giá của các học giả hoặc các chuyên gia khác, những người có thể đã hoặc chưa thể hiện thiện chí làm trọng tài cho tạp chí hoặc bộ phận sách đó. Các cơ quan tài trợ thường tuyển dụng một hội đồng hoặc ủy ban đánh giá trước khi có đơn đăng ký. ^[51]

Các trọng tài phải thông báo cho người biên tập về bất kỳ xung đột lợi ích nào có thể phát sinh. Các tạp chí hoặc các biên tập viên cá nhân có thể mời tác giả của bản thảo nêu tên những người mà họ cho là đủ tiêu chuẩn để đánh giá tác phẩm của họ. Đối với một số tạp chí, đây là một yêu cầu nộp hồ sơ. Các tác giả đôi khi cũng có cơ hội nêu tên các ứng cử viên tự nhiên sẽ bị loại , trong trường hợp đó, họ có thể được yêu cầu đưa ra lời biện minh (thường được thể hiện dưới dạng xung đột lợi ích). ^{[ cần dẫn nguồn ]}

Các biên tập viên trưng cầu ý kiến ​​của tác giả trong việc lựa chọn trọng tài vì văn bản học thuật thường rất chuyên biệt. Biên tập viên thường giám sát nhiều chuyên ngành, và không thể là chuyên gia trong tất cả chúng. Nhưng sau khi một biên tập viên chọn các trọng tài từ nhóm các ứng cử viên, biên tập viên thường có nghĩa vụ không tiết lộ danh tính của các trọng tài cho các tác giả và trên các tạp chí khoa học, cho nhau. Chính sách về những vấn đề này khác nhau giữa các ngành học. ^{[ cần dẫn nguồn ]} Một khó khăn đối với một số bản thảo là có thể có ít học giả thực sự đủ tiêu chuẩn làm chuyên gia, những người đã tự mình thực hiện công việc tương tự như công việc đang được xem xét. Điều này có thể làm ảnh hưởng đến mục tiêu ẩn danh của người đánh giá và tránh xung đột lợi ích. Các tạp chí địa phương hoặc có uy tín thấp và các cơ quan cấp bằng trao ít tiền đặc biệt khó khăn đối với việc tuyển dụng các chuyên gia. ^{[ cần dẫn nguồn ]}

Một trở ngại tiềm tàng trong việc tuyển dụng trọng tài là họ thường không được trả lương, phần lớn vì làm như vậy bản thân nó sẽ tạo ra xung đột lợi ích . Ngoài ra, việc xem xét làm mất thời gian khỏi các hoạt động chính của họ, chẳng hạn như nghiên cứu của riêng họ. Đối với lợi thế của nhà tuyển dụng, hầu hết các trọng tài tiềm năng là chính tác giả, hoặc ít nhất là độc giả, những người biết rằng hệ thống xuất bản yêu cầu các chuyên gia đóng góp thời gian của họ. Phục vụ như một trọng tài thậm chí có thể là một điều kiện của một khoản trợ cấp, hoặc tư cách thành viên hiệp hội nghề nghiệp. ^{[ cần dẫn nguồn ]}

Các trọng tài có cơ hội để ngăn chặn công việc không đáp ứng các tiêu chuẩn của lĩnh vực được công bố, đó là một vị trí của một số trách nhiệm. Các biên tập viên có lợi thế đặc biệt trong việc tuyển dụng một học giả khi họ đã giám sát việc xuất bản tác phẩm của họ hoặc nếu học giả đó là người hy vọng sẽ gửi bản thảo cho cơ quan xuất bản của biên tập viên đó trong tương lai. Tương tự, các cơ quan tài trợ có xu hướng tìm kiếm trọng tài trong số những người nhận tài trợ hiện tại hoặc trước đây của họ. ^{[ cần dẫn nguồn ]}

Peerage of Science là một dịch vụ độc lập và là một cộng đồng nơi việc tuyển dụng người đánh giá diễn ra thông qua Open Engagement: các tác giả gửi bản thảo của họ đến dịch vụ mà bất kỳ nhà khoa học không liên kết nào cũng có thể truy cập được và 'người dùng đã được xác thực' tự chọn nội dung họ muốn đánh giá. Động lực để tham gia với tư cách là người đánh giá ngang hàng đến từ một hệ thống danh tiếng nơi chất lượng của công việc đánh giá được đánh giá và cho điểm bởi những người dùng khác và đóng góp vào hồ sơ người dùng. Peerage of Science không thu bất kỳ khoản phí nào đối với các nhà khoa học, và không trả tiền cho những người bình duyệt. Tuy nhiên, các nhà xuất bản tham gia trả tiền để sử dụng dịch vụ, có quyền truy cập vào tất cả các quy trình đang diễn ra và cơ hội đưa ra các đề nghị xuất bản cho các tác giả. ^{[ cần dẫn nguồn ]}

Với các dịch vụ bình duyệt độc lập, tác giả thường giữ quyền đối với tác phẩm trong suốt quá trình bình duyệt và có thể chọn tạp chí thích hợp nhất để gửi tác phẩm. ^{[52] [53]} Dịch vụ bình duyệt cũng có thể đưa ra lời khuyên hoặc khuyến nghị về hầu hết các tạp chí phù hợp cho công việc. Các tạp chí có thể vẫn muốn thực hiện một cuộc bình duyệt độc lập mà không có xung đột lợi ích tiềm ẩn mà việc bồi hoàn tài chính có thể gây ra, hoặc rủi ro mà một tác giả đã ký hợp đồng với nhiều dịch vụ bình duyệt nhưng chỉ đưa ra dịch vụ có lợi nhất. ^{[ cần dẫn nguồn ]}

Một hệ thống thay thế hoặc bổ sung để thực hiện đánh giá ngang hàng được tác giả trả tiền để thực hiện nó. Ví dụ về nhà cung cấp dịch vụ như vậy là Rubriq , đối với mỗi công việc chỉ định những người đánh giá ngang hàng, những người được đền bù tài chính cho những nỗ lực của họ. ^[54]

Ẩn danh và được gán

Đối với hầu hết các ấn phẩm học thuật , danh tính của những người đánh giá được giữ ẩn danh (còn được gọi là "đánh giá đồng đẳng mù"). Phương pháp thay thế, đánh giá ngang hàng được quy kết liên quan đến việc tiết lộ danh tính của những người đánh giá. Một số nhà phê bình chọn từ bỏ quyền ẩn danh của họ, ngay cả khi định dạng mặc định của tạp chí là đánh giá đồng cấp mù.

Trong bình duyệt ẩn danh, những người bình duyệt được biết đến với biên tập viên tạp chí hoặc người tổ chức hội nghị nhưng tên của họ không được đặt cho tác giả của bài báo. Trong một số trường hợp, danh tính của tác giả cũng có thể được ẩn danh trong quá trình xem xét, với thông tin nhận dạng sẽ bị xóa khỏi tài liệu trước khi xem xét. Hệ thống nhằm mục đích giảm bớt hoặc loại bỏ sai lệch. ^[17]

Một số chuyên gia đề xuất thủ tục xem xét mù quáng để xem xét các chủ đề nghiên cứu gây tranh cãi. ^[55]

Trong đánh giá đồng đẳng mù đôi , đã được các tạp chí xã hội học đưa ra vào những năm 1950 ^[56] và vẫn phổ biến hơn trong khoa học xã hội và nhân văn hơn là trong khoa học tự nhiên, ^{[ cần dẫn nguồn ]} danh tính của các tác giả được che giấu khỏi những người đánh giá. (" bị che mắt "), và ngược lại, vì e rằng kiến ​​thức về quyền tác giả hoặc lo ngại về sự từ chối của tác giả sẽ làm sai lệch đánh giá của họ. ^[57] Những người chỉ trích quy trình đánh giá mù đôi chỉ ra rằng, mặc dù có bất kỳ nỗ lực biên tập nào để đảm bảo tính ẩn danh, quy trình này thường không làm được như vậy, vì một số cách tiếp cận, phương pháp, phong cách viết, ký hiệu, v.v., chỉ đến một nhóm nhất định. của những người trong luồng nghiên cứu và thậm chí với một người cụ thể. ^{[58] [59]}

Trong nhiều lĩnh vực " khoa học lớn ", tiến độ vận hành công bố rộng rãi các thiết bị lớn, chẳng hạn như kính thiên văn hoặc synchrotron , sẽ làm cho tên tác giả rõ ràng cho bất cứ ai sẽ chăm sóc để tìm kiếm chúng. Những người ủng hộ đánh giá mù đôi cho rằng nó hoạt động không tồi hơn đánh giá mù đơn và nó tạo ra nhận thức về sự công bằng và bình đẳng trong tài trợ học thuật và xuất bản. ^[60] Đánh giá mù đơn phụ thuộc nhiều vào thiện chí của những người tham gia, nhưng không nhiều hơn đánh giá mù đôi với các tác giả dễ xác định.

Để thay thế cho đánh giá mù đơn và mù đôi, tác giả và người đánh giá được khuyến khích khai báo xung đột lợi ích của họ khi tên của tác giả và đôi khi người đánh giá được biết đến với người khác. Khi xung đột được báo cáo, người đánh giá xung đột có thể bị cấm xem xét và thảo luận về bản thảo, hoặc thay vào đó, đánh giá của họ có thể được giải thích với xung đột được báo cáo; lựa chọn thứ hai thường được áp dụng hơn khi xung đột lợi ích ở mức độ nhẹ, chẳng hạn như mối quan hệ nghề nghiệp trước đây hoặc mối quan hệ gia đình xa. Khuyến khích người đánh giá tuyên bố xung đột lợi ích của họ là vấn đề đạo đức nghề nghiệp và tính chính trực của cá nhân. Ngay cả khi các bài đánh giá không được công khai, chúng vẫn là một vấn đề được ghi lại và độ tin cậy của người đánh giá phụ thuộc vào cách họ thể hiện bản thân giữa các đồng nghiệp. Một số tạp chí kỹ thuật phần mềm, chẳng hạn như Giao dịch IEEE về Kỹ thuật phần mềm , sử dụng các bài đánh giá không mù quáng với việc báo cáo cho các biên tập viên về các xung đột lợi ích của cả tác giả và người đánh giá. ^{[ cần dẫn nguồn ]}

Một tiêu chuẩn nghiêm ngặt hơn về trách nhiệm giải trình được gọi là kiểm toán . Vì người soát xét không được trả tiền nên họ không thể dành nhiều thời gian và công sức cho việc soát xét như yêu cầu của cuộc kiểm toán. Do đó, tạp chí khoa học như Science , các tổ chức như Geophysical Liên minh Mỹ , và các cơ quan như National Institutes of Health và Quỹ Khoa học Quốc gia duy trì và lưu trữ dữ liệu khoa học và phương pháp trong trường hợp nhà nghiên cứu khác muốn sao chép hay kiểm tra nghiên cứu sau sự xuất bản. ^{[61] [62] [63]}

Đánh giá đồng cấp ẩn danh truyền thống đã bị chỉ trích vì thiếu trách nhiệm giải trình, khả năng bị lạm dụng bởi những người đánh giá hoặc những người quản lý quá trình bình duyệt đồng đẳng (tức là các biên tập viên tạp chí), ^[64] có thể có sự thiên vị và tính không nhất quán của nó, ^{[65 ]} cùng với các sai sót khác. ^{[66] [67]} Eugene Koonin , một điều tra viên cấp cao tại Trung tâm Thông tin Công nghệ Sinh học Quốc gia , khẳng định rằng hệ thống này có "các tệ nạn nổi tiếng" và ủng hộ " đánh giá ngang hàng mở ". ^[68]

Mở đánh giá ngang hàng

Năm 1999, tạp chí truy cập mở Journal of Medical Internet Research ^[69] ra đời, ngay từ khi thành lập , tạp chí này đã quyết định công bố tên của những người phản biện ở cuối mỗi bài báo được xuất bản. Cũng trong năm 1999, Tạp chí Y khoa Anh chuyển sang hệ thống bình duyệt mở, tiết lộ danh tính của người bình duyệt cho các tác giả chứ không phải độc giả, ^[70] và vào năm 2000, các tạp chí y khoa trong loạt BMC truy cập mở ^[71] được xuất bản bởi BioMed Trung tâm , ra mắt bằng cách sử dụng đánh giá ngang hàng mở. Đối với BMJ , tên của những người đánh giá được đưa vào các báo cáo đánh giá ngang hàng. Ngoài ra, nếu bài báo được xuất bản, các báo cáo sẽ được cung cấp trực tuyến như một phần của "lịch sử trước khi xuất bản". ^{[ cần dẫn nguồn ]}

Một số tạp chí khác được xuất bản bởi BMJ Group cho phép đánh giá ngang hàng mở tùy chọn, ^[70] cũng như PLoS Medicine , được xuất bản bởi Thư viện Khoa học Công cộng . ^[72] Các BMJ ' s Responses nhanh cho phép cuộc tranh luận đang diễn ra và những lời chỉ trích sau khi xuất bản. ^[73]

Vào tháng 6 năm 2006, Nature đã khởi động một thử nghiệm song song với đánh giá đồng cấp mở: một số bài báo đã được gửi đến quy trình ẩn danh thông thường cũng có sẵn trực tuyến để lấy ý kiến ​​công khai, được xác định. Kết quả không đáng khích lệ - chỉ 5% tác giả đồng ý tham gia thử nghiệm, và chỉ 54% trong số đó nhận được bình luận. ^{[74] [75]} Các biên tập viên đã gợi ý rằng các nhà nghiên cứu có thể đã quá bận rộn để tham gia và miễn cưỡng công khai tên của họ. Việc biết rằng các bài báo đồng thời bị đánh giá ngang hàng ẩn danh cũng có thể đã ảnh hưởng đến sự tiếp thu.

Vào tháng 2 năm 2006, tạp chí Biology Direct được BioMed Central ra mắt , bổ sung thêm một giải pháp thay thế cho mô hình bình duyệt truyền thống. Nếu các tác giả có thể tìm thấy ba thành viên của Ban biên tập, mỗi người sẽ trả lại một báo cáo hoặc tự mình sẽ trưng cầu một đánh giá bên ngoài, bài báo sẽ được xuất bản. Đối với Philica , người đánh giá không thể ngăn chặn việc xuất bản, nhưng ngược lại với Philica , không có bài đánh giá nào là ẩn danh và không có bài báo nào được xuất bản mà không được đánh giá. Các tác giả có cơ hội rút lại bài báo của họ, để sửa lại nó theo các đánh giá, hoặc xuất bản nó mà không cần chỉnh sửa. Nếu các tác giả tiếp tục công bố bài báo của họ bất chấp các bình luận phê bình, độc giả có thể thấy rõ ràng bất kỳ bình luận tiêu cực nào cùng với tên của những người bình luận. ^{[76] [ cần nguồn của bên thứ ba ]} Trong khoa học xã hội, đã có những thử nghiệm với kiểu wiki , các bài đánh giá đồng nghiệp có chữ ký, ví dụ như trong một ấn bản của Shakespeare Quarterly . ^[77]

Năm 2010, BMJ bắt đầu xuất bản báo cáo của người đánh giá có chữ ký cùng với các giấy tờ được chấp nhận, sau khi xác định rằng việc nói với người đánh giá rằng các bài đánh giá có chữ ký của họ có thể được đăng công khai không ảnh hưởng đáng kể đến chất lượng của các bài đánh giá. ^[78]

Vào năm 2011, Peerage of Science , một dịch vụ bình duyệt độc lập, đã được đưa ra với một số cách tiếp cận phi truyền thống để đánh giá đồng đẳng về mặt học thuật. Nổi bật nhất, chúng bao gồm việc đánh giá và cho điểm về tính chính xác và hợp lý của các đánh giá đồng cấp, và sử dụng đồng thời một vòng đánh giá đồng cấp của một số tạp chí tham gia. ^{[ cần dẫn nguồn ]}

Bắt đầu từ năm 2013 với sự ra mắt của F1000Research , một số nhà xuất bản đã kết hợp đánh giá ngang hàng mở với đánh giá ngang hàng sau khi xuất bản bằng cách sử dụng hệ thống bài báo đã được phiên bản hóa. Tại F1000Research , các bài báo được xuất bản trước khi đánh giá, và các báo cáo đánh giá đồng cấp được mời (và tên người đánh giá) được xuất bản cùng với bài báo khi chúng xuất hiện. ^[79] Các phiên bản sửa đổi của tác giả của bài báo sau đó được liên kết với bản gốc. Một hệ thống đánh giá sau xuất bản tương tự với các bài báo đã được phiên bản hóa được sử dụng bởi Science Open, ra mắt vào năm 2014. ^[80]

Vào năm 2014, Life đã triển khai một hệ thống bình duyệt mở, ^[81] theo đó các báo cáo bình duyệt và phản hồi của các tác giả được xuất bản như một phần không thể thiếu của phiên bản cuối cùng của mỗi bài báo.

Kể từ năm 2016, Synlett đang thử nghiệm đánh giá đồng cấp của đám đông kín. Bài báo đang được xem xét sẽ được gửi đến một nhóm gồm hơn 80 chuyên gia đánh giá, những người sau đó cộng tác nhận xét về bản thảo. ^[82]

Trong nỗ lực giải quyết các vấn đề về khả năng tái tạo của kết quả nghiên cứu, một số học giả yêu cầu các tác giả đồng ý chia sẻ dữ liệu thô của họ như một phần của quá trình đánh giá ngang hàng. ^[83] Ví dụ, từ năm 1962, một số nhà tâm lý học đã cố gắng lấy các tập dữ liệu thô từ các nhà nghiên cứu khác, với các kết quả hỗn hợp, để phân tích lại chúng. Một nỗ lực gần đây chỉ dẫn đến bảy tập dữ liệu trong số năm mươi yêu cầu. Khái niệm về việc lấy, chưa nói đến việc yêu cầu, dữ liệu mở như một điều kiện của đánh giá ngang hàng vẫn còn gây tranh cãi. ^[84] Vào năm 2020, đánh giá ngang hàng thiếu quyền truy cập vào dữ liệu thô dẫn đến việc rút lại bài báo trên Tạp chí Y khoa và The Lancet có uy tín của New England . Nhiều tạp chí hiện nay yêu cầu quyền truy cập vào dữ liệu thô để được đưa vào đánh giá ngang hàng. ^[85]

Đánh giá ngang hàng trước và sau khi xuất bản

Quá trình bình duyệt không bị giới hạn trong quá trình xuất bản được quản lý bởi các tạp chí học thuật. Đặc biệt, một số hình thức bình duyệt có thể xảy ra trước khi một bài báo được gửi cho một tạp chí và / hoặc sau khi nó được xuất bản bởi tạp chí đó.

Đánh giá ngang hàng trước khi xuất bản

Bản thảo thường được xem xét bởi các đồng nghiệp trước khi nộp hồ sơ, và nếu bản thảo được tải lên máy chủ bản thảo, chẳng hạn như arXiv , BioRxiv hoặc SSRN , các nhà nghiên cứu có thể đọc và nhận xét về bản thảo. Việc tải lên máy chủ in trước và hoạt động thảo luận phụ thuộc rất nhiều vào lĩnh vực, ^{[86] [87]} và nó cho phép đánh giá ngang hàng trước khi xuất bản . Ưu điểm của phương pháp này là tốc độ và tính minh bạch của quá trình xét duyệt. Bất kỳ ai cũng có thể đưa ra phản hồi, thường dưới dạng nhận xét và thường không ẩn danh. Những nhận xét này cũng được công khai và có thể được phản hồi, do đó, giao tiếp giữa tác giả và người đánh giá không bị giới hạn trong vòng 2–4 vòng trao đổi điển hình trong xuất bản truyền thống. Các tác giả có thể kết hợp nhận xét từ nhiều người thay vì phản hồi từ 3–4 người đánh giá thông thường. Điểm bất lợi là một số lượng lớn các bài báo được trình bày cho cộng đồng mà không có bất kỳ sự đảm bảo nào về chất lượng.

Đánh giá ngang hàng sau xuất bản

Sau khi bản thảo được xuất bản, quá trình bình duyệt tiếp tục khi các ấn phẩm được đọc, được gọi là bình duyệt sau xuất bản . Độc giả thường gửi thư cho biên tập viên của một tạp chí, hoặc trao đổi thư từ với biên tập viên qua một câu lạc bộ tạp chí trực tuyến. Bằng cách này, tất cả các "đồng nghiệp" có thể đưa ra đánh giá và phê bình các tài liệu đã xuất bản. Sự ra đời của thực hành " epub trước bản in" trong nhiều tạp chí đã giúp cho việc xuất bản đồng thời các bức thư không được yêu cầu cho người biên tập cùng với bản gốc trong số phát hành in. ^{[ cần dẫn nguồn ]}

Một biến thể của chủ đề này là bình luận đồng đẳng mở , trong đó các bình luận từ các chuyên gia được trưng cầu về các bài báo đã xuất bản và các tác giả được mời phản hồi. Các tạp chí sử dụng quy trình này trưng cầu và xuất bản các bài bình luận không ẩn danh trên "bài báo đích" cùng với bài báo đó và tất nhiên là có trả lời của các tác giả gốc. Bình luận đồng đẳng mở lần đầu tiên được thực hiện bởi nhà nhân loại học Sol Tax , người đã thành lập tạp chí Current Anthropology vào năm 1957. ^[88] Tạp chí Behavioral and Brain Sciences , được xuất bản bởi Cambridge University Press , được Stevan Harnad thành lập vào năm 1978 ^[89] và dựa trên Tính năng bình luận đồng đẳng mở của Anthropology hiện tại . ^[90] Psycoloquy (1990–2002) ^[91] cũng dựa trên tính năng tương tự, nhưng lần này được triển khai trực tuyến. Kể từ năm 2016, tạp chí Animal Sentience cũng cung cấp bình luận mở của đồng nghiệp .

Ngoài các tạp chí lưu trữ các đánh giá bài báo của riêng họ, cũng có các trang web độc lập bên ngoài dành riêng cho việc bình duyệt sau khi xuất bản, chẳng hạn như PubPeer cho phép bình luận ẩn danh về các tài liệu đã xuất bản và thúc đẩy các tác giả trả lời những bình luận này. ^[92] Có ý kiến ​​cho rằng các bài đánh giá sau khi xuất bản từ các trang web này cũng nên được xem xét một cách biên tập. ^[93] megajournals F1000Research và ScienceOpen công bố công khai cả danh tính của người đánh giá và báo cáo của người đánh giá cùng với bài báo.

Một số tạp chí sử dụng bình duyệt sau công bố như một phương pháp bình duyệt chính thức, thay vì bình duyệt trước khi công bố. Điều này được giới thiệu lần đầu tiên vào năm 2001, bởi Hóa học và Vật lý Khí quyển (ACP). ^[94] Gần đây hơn F1000Research and ScienceOpen đã được đưa ra dưới dạng megajournals với đánh giá sau công bố như một phương pháp đánh giá chính thức. ^{[79] [80]} Tại cả ACP và F1000Research các chuyên gia phản biện đều được mời chính thức, giống như tại các tạp chí đánh giá trước khi xuất bản. Các bài báo vượt qua bình duyệt của hai tạp chí đó được đưa vào cơ sở dữ liệu học thuật bên ngoài. ^[95]

Năm 2006, một nhóm nhỏ các nhà tâm lý học học thuật của Vương quốc Anh đã ra mắt Philica , tạp chí trực tuyến tức thì Journal of Everything, để giải quyết nhiều vấn đề mà họ coi là vấn đề của đánh giá ngang hàng truyền thống. Tất cả các bài báo đã gửi sẽ được xuất bản ngay lập tức và có thể được xem xét sau đó. Bất kỳ nhà nghiên cứu nào muốn đánh giá một bài báo đều có thể làm như vậy và các bài đánh giá là ẩn danh. Các đánh giá được hiển thị ở cuối mỗi bài báo và được sử dụng để cung cấp cho người đọc những lời chỉ trích hoặc hướng dẫn về tác phẩm, thay vì để quyết định xem nó có được xuất bản hay không. Điều này có nghĩa là người đánh giá không thể ngăn chặn các ý tưởng nếu họ không đồng ý với chúng. Người đọc sử dụng các bài đánh giá để hướng dẫn cách đọc của họ, và tác phẩm đặc biệt phổ biến hay không phổ biến rất dễ nhận biết. ^{[ cần dẫn nguồn ]}

Sci (ISSN 2413-4155) từ MDPI, một tạp chí học thuật, truy cập mở, bao gồm tất cả các lĩnh vực nghiên cứu và xuất bản các bài đánh giá, bài nghiên cứu thông thường, thông tin liên lạc và ghi chú ngắn, được thành lập vào tháng 3 năm 2018 để mở "hộp đen đánh giá ngang hàng ". ^[96] Sau đó, nó đã điều chỉnh một quy trình làm việc minh bạch hơn, đánh giá ngang hàng công khai sau khi xuất bản (P4R) ủng hộ việc duy trì tính minh bạch và tính nguyên bản khoa học. ^[97] Hệ thống P4R được áp dụng từ tháng 3 năm 2019 đến tháng 11 năm 2020 hứa hẹn các tác giả hiển thị ngay lập tức các bản thảo của họ trên nền tảng trực tuyến của tạp chí sau khi kiểm tra ngắn gọn và hạn chế về tính khoa học và báo cáo thích hợp cũng như chống lại đạo văn và tài liệu xúc phạm. Tuy nhiên, cách tiếp cận này đã phải đối mặt với một số thách thức, đó là: ^[8]

1. thời gian xử lý bản thảo kéo dài do phải chờ các tình nguyện viên đến
2. Một số tác giả từ chối chấp nhận nhận xét hoặc đánh giá đã được ghi nhận trong Sci, có thể được thúc đẩy bởi thực tế là bản thảo đã được xuất bản trên thực tế như một phần của chiến lược P4R về đánh giá sau xuất bản
3. mớ hỗn độn hậu cần, vì các tùy chọn rút lại hoặc từ chối không thực sự có sẵn trong P4R, nơi mà việc đặt tên công khai có vấn đề cao và làm xấu bản thảo yếu dường như là công cụ duy nhất có sẵn để bảo vệ chống lại sự thiếu chất lượng
4. không có khả năng đưa Khoa học vào làm tạp chí P4R trong Chỉ số Trích dẫn Khoa học và Khoa học Web của Clarivate do có một số DOIs ^[8]

Do đó, việc chuyển sang quy trình làm việc lai, P4R hybrid, đã được tìm kiếm từ tháng 11 năm 2020. ^[98]

Phương tiện truyền thông xã hội và đánh giá ngang hàng không chính thức

Nghiên cứu gần đây đã kêu gọi sự chú ý đến việc sử dụng các công nghệ truyền thông xã hội và blog khoa học như một phương tiện đánh giá bình đẳng không chính thức, sau khi xuất bản, như trong trường hợp tranh cãi về #arseniclife (hoặc GFAJ-1 ). ^[99] Vào tháng 12 năm 2010, một bài báo được xuất bản trên Scienceexpress (phiên bản in trước của Science ) đã tạo ra cả sự phấn khích và hoài nghi, khi các tác giả của nó — dẫn đầu bởi nhà sinh vật học NASA Felisa Wolfe-Simon — tuyên bố đã khám phá và nuôi cấy một số vi khuẩn có thể thay thế phốt pho bằng asen trong các khối xây dựng sinh lý của nó. Vào thời điểm bài báo được xuất bản, NASA đã đưa ra các tuyên bố báo chí cho thấy rằng phát hiện này sẽ tác động đến việc tìm kiếm sự sống ngoài Trái đất, làm dấy lên sự phấn khích trên Twitter với hashtag #arseniclife, cũng như những lời chỉ trích từ các chuyên gia đồng nghiệp bày tỏ sự hoài nghi thông qua blog cá nhân của họ. ^[100] Cuối cùng, cuộc tranh cãi xung quanh bài báo đã thu hút sự chú ý của giới truyền thông, ^[101] và một trong những nhà phê bình khoa học có tiếng nói nhất - Rosemary Redfield — được xuất bản chính thức vào tháng 7 năm 2012 ^[102] liên quan đến nỗ lực không thành công của cô ấy trong việc tái tạo các nhà khoa học NASA 'phát hiện ban đầu.

Các nhà nghiên cứu sau tác động của trường hợp #arseniclife đối với các cuộc thảo luận trên mạng xã hội và quy trình đánh giá đồng cấp đã kết luận như sau:

Kết quả của chúng tôi chỉ ra rằng các công nghệ giao tiếp trực tuyến tương tác có thể cho phép các thành viên trong cộng đồng khoa học rộng lớn hơn thực hiện vai trò phản biện tạp chí để hợp pháp hóa thông tin khoa học sau khi nó đã được nâng cấp thông qua các kênh đánh giá chính thức. Ngoài ra, nhiều đối tượng có thể tham gia vào các cuộc tranh cãi khoa học thông qua các công nghệ này và quan sát quá trình bình duyệt sau xuất bản không chính thức. (tr 946) ^[99]

Đánh giá đồng đẳng mù kết quả

Các nghiên cứu báo cáo một kết quả tích cực hoặc có ý nghĩa thống kê có nhiều khả năng được công bố hơn những nghiên cứu không . Một biện pháp chống lại sự thiên vị tích cực này là che giấu hoặc không công bố kết quả, khiến việc chấp nhận tạp chí giống như các cơ quan cấp phép khoa học xem xét các đề xuất nghiên cứu. Các phiên bản bao gồm:

1. Đánh giá đồng đẳng mù kết quả hoặc đánh giá đồng đẳng mù kết quả , được đề xuất lần đầu tiên năm 1966: Những người phản biện nhận được một phiên bản đã chỉnh sửa của bài báo đã nộp, bỏ qua phần kết quả và phần kết luận. ^{[103] [104] [105] [106] [107]} Trong phiên bản hai giai đoạn, vòng đánh giá thứ hai hoặc đánh giá biên tập dựa trên phiên bản giấy đầy đủ, được đề xuất lần đầu vào năm 1977. ^{[108] [109 ]}

   Đánh giá mù kết luận , được đề xuất bởi Robin Hanson vào năm 2007 mở rộng điều này hơn nữa yêu cầu tất cả các tác giả gửi một phiên bản tích cực và một phiên bản tiêu cực, và chỉ sau khi tạp chí đã chấp nhận các tác giả bài báo tiết lộ đâu là phiên bản thực. ^[110]

2. Pre-chấp nhận bài viết hoặc các tạp chí kết quả-không thiên vị hoặc xem xét công bố trước hoặc báo cáo đăng ký hoặc trước khi kết quả nộp hoặc chấp nhận đầu ^{[111] [112] [113] [114] [115] [116] [117] [118] [119 ]} mở rộng việc đăng ký trước nghiên cứu đến mức các tạp chí chấp nhận hoặc từ chối các bài báo dựa trên phiên bản của bài báo được viết trước khi kết quả hoặc kết luận được đưa ra (một đề cương nghiên cứu mở rộng), nhưng thay vào đó mô tả lý thuyết lý thuyết, thiết kế thử nghiệm và thống kê phân tích. Chỉ khi giả thuyết và phương pháp luận được đề xuất đã được người đánh giá chấp nhận, các tác giả mới thu thập dữ liệu hoặc phân tích dữ liệu đã thu thập trước đó. Một biến thể hạn chế của một bài báo đã được chấp nhận trước là bản đánh giá đề cương nghiên cứu của The Lancet từ năm 1997–2015 đã được xem xét và xuất bản các đề cương thử nghiệm ngẫu nhiên với đảm bảo rằng bài báo cuối cùng ít nhất sẽ được gửi đi xem xét đồng cấp thay vì bị từ chối ngay lập tức. ^{[120] [121]} Ví dụ, Nature Human Behavior đã áp dụng định dạng báo cáo đã đăng ký, vì nó “chuyển [các] sự nhấn mạnh từ kết quả nghiên cứu sang các câu hỏi hướng dẫn nghiên cứu và các phương pháp được sử dụng để trả lời chúng”. ^[122] Các European Journal of Personality định nghĩa định dạng này: “Trong một báo cáo đăng ký, tác giả tạo ra một đề nghị nghiên cứu bao gồm các nền tảng lý thuyết và thực nghiệm, câu hỏi nghiên cứu / giả thuyết, và dữ liệu thử nghiệm (nếu có). Sau khi đệ trình, đề xuất này sẽ được xem xét trước khi thu thập dữ liệu và nếu được chấp nhận, bài báo kết quả từ quy trình được đánh giá ngang hàng này sẽ được xuất bản, bất kể kết quả nghiên cứu như thế nào. " ^[123]

Các tạp chí sau đây đã sử dụng đánh giá đồng đẳng mù kết quả hoặc các bài báo được chấp nhận trước:

• Tạp chí Tâm lý học Châu Âu , dưới sự chỉ đạo của Martin Johnson (người đã đề xuất phiên bản Báo cáo đã Đăng ký vào năm 1974), ^[124] bắt đầu chấp nhận các bài báo dựa trên các thiết kế đã nộp và sau đó xuất bản chúng, từ năm 1976 đến năm 1993, và xuất bản tổng cộng 25 RR ^[109]
• Các Tạp chí Quốc tế dự báo sử dụng opt-in kết quả đánh giá ngang mù và tiền chấp nhận bài viết từ trước năm 1986 ^[125] qua 1996/1997. ^{[112] [126]}
• Tạp chí Đo lường Tâm lý Ứng dụng đã đưa ra quy trình "đánh giá xuất bản trước" chọn tham gia từ năm 1989–1996, kết thúc sử dụng sau khi chỉ có 5 bài báo được nộp. ^{[112] [127]}
• Các Internal Medicine JAMA tìm thấy trong một cuộc khảo sát năm 2009 cho thấy 86% người nhận xét nó sẽ sẵn sàng để làm việc trong một quá trình đánh giá ngang hàng kết quả mù, và đã chạy thử nghiệm thí điểm với hai giai đoạn rà soát kết quả mù ngang, cho thấy bước mù được hưởng lợi nghiên cứu tích cực nhiều hơn tiêu cực. ^[128] nhưng tạp chí hiện không sử dụng đánh giá đồng đẳng mù kết quả. ^{[ cần dẫn nguồn ]}

• Các Trung tâm Khoa học mở khuyến khích sử dụng "Báo cáo đăng ký" (bài báo trước được chấp nhận) ^{[129] [130] [131] [132] [133] [134]} bắt đầu từ năm 2013. Tính đến tháng 10 năm 2017, ~ 80 tạp chí cung cấp báo cáo đăng ký nói chung, đã có vấn đề đặc biệt của báo cáo đăng ký, hoặc chấp nhận hạn chế của báo cáo đăng ký (ví dụ như chỉ lặp) bao gồm AIMS Neuroscience , Cortex , nhận thức về Khoa học Tâm lý , Tâm lý xã hội , & Nghiên cứu Chính trị So sánh
  • Nghiên cứu chính trị so sánh đã công bố kết quả thí nghiệm thử nghiệm của 19 bài nộp, trong đó 3 bài đã được chấp nhận trước vào năm 2016. Quá trình hoạt động tốt nhưng các bài nộp được tập trung vào các thiết kế thử nghiệm định lượng và giảm số lượng 'đánh bắt' vì người nộp và người đánh giá tập trung vào lý thuyết ủng hộ, tầm quan trọng thực chất của kết quả, chú ý đến sức mạnh thống kê và tác động của kết quả vô hiệu, kết luận rằng "chúng tôi có thể nói rõ rằng hình thức đánh giá này dẫn đến các bài báo có chất lượng cao nhất. Chúng tôi rất muốn xem một tạp chí hàng đầu áp dụng đánh giá không có kết quả như một chính sách, ít nhất là cho phép đánh giá không có kết quả là một trong số một số tùy chọn gửi tiêu chuẩn. " ^[135]

Các biên tập viên khác nhau đã bày tỏ sự chỉ trích về đánh giá ngang hàng. ^{[136] [137]} Ngoài ra, một tổng quan của Cochrane tìm thấy rất ít bằng chứng thực nghiệm rằng tổng quan ngang hàng đảm bảo chất lượng trong nghiên cứu y sinh học, ^[138] trong khi tổng quan hệ thống thứ hai và phân tích tổng hợp cho thấy nhu cầu đánh giá đồng đẳng dựa trên bằng chứng trong y sinh học do đánh giá sơ bộ về các can thiệp được thiết kế để cải thiện quy trình. ^[139]

Đối với người ngoài, quy trình đánh giá ngang hàng ẩn danh trước khi xuất bản là không rõ ràng. Một số tạp chí bị cáo buộc không thực hiện đánh giá ngang hàng nghiêm ngặt để dễ dàng mở rộng cơ sở khách hàng của họ, đặc biệt là các tạp chí mà tác giả trả phí trước khi xuất bản. ^[140] Richard Smith, MD, cựu biên tập viên của British Medical Journal , đã tuyên bố rằng đánh giá đồng cấp là "không hiệu quả, phần lớn là một trò xổ số, phản đổi mới, chậm chạp, tốn kém, lãng phí thời gian khoa học, không hiệu quả, dễ bị lạm dụng, dễ bị thiên vị. , không thể phát hiện gian lận và không liên quan; Một số nghiên cứu đã chỉ ra rằng đánh giá đồng cấp thiên vị đối với cấp tỉnh và những người đến từ các nước có thu nhập thấp và trung bình; Nhiều tạp chí mất hàng tháng, thậm chí hàng năm để xuất bản và quá trình này lãng phí thời gian của các nhà nghiên cứu. về chi phí, Mạng Thông tin Nghiên cứu ước tính chi phí toàn cầu của hoạt động đánh giá ngang hàng là 1,9 tỷ bảng Anh vào năm 2008. " ^[141]

Ngoài ra, nhóm các trường Đại học Nghiên cứu Đổi mới của Úc (một liên minh gồm bảy trường đại học toàn diện cam kết xuất sắc toàn diện trong giảng dạy, học tập và nghiên cứu ở Úc) đã phát hiện ra rằng "đánh giá đồng cấp gây bất lợi cho các nhà nghiên cứu trong sự nghiệp ban đầu của họ, khi họ dựa vào các khoản tài trợ cạnh tranh để trang trải tiền lương của họ, và khi các đơn xin tài trợ không thành công thường đánh dấu sự kết thúc của một ý tưởng nghiên cứu ". ^[142]

Sự phân biệt cấp thấp trong các bài báo có thể hiểu được đối với tất cả các đồng nghiệp

John Ioannidis lập luận rằng kể từ khi các bài kiểm tra và các bài kiểm tra khác mà mọi người vượt qua con đường của họ từ "giáo dân" thành "chuyên gia" tập trung vào việc trả lời các câu hỏi đúng lúc và phù hợp với danh sách các câu trả lời, chứ không phải phân biệt chính xác (phần sau của sẽ không thể nhận ra đối với các chuyên gia có độ chính xác nhận thức thấp hơn), có nhiều biến thể cá nhân trong khả năng phân biệt quan hệ nhân quả với mối tương quan giữa các "chuyên gia" cũng như giữa các "giáo dân". Ioannidis lập luận rằng do đó, đánh giá đồng cấp học thuật của nhiều "chuyên gia" chỉ cho phép các bài báo có thể hiểu được ở nhiều mức độ chính xác nhận thức, bao gồm cả những bài viết rất thấp để vượt qua, các ấn phẩm thiên về ưu tiên các bài báo suy ra nhân quả từ mối tương quan trong khi gắn nhãn sai các bài báo từ phía các tác giả đưa ra sự phân biệt là "đánh giá quá cao khả năng của một người không đủ năng lực" vì một số "chuyên gia" đánh giá về mặt nhận thức không thể phân biệt được sự khác biệt với cáo buộc hợp lý hóa các kết luận cụ thể. Ioannidis lập luận rằng điều này làm cho đánh giá ngang hàng trở thành nguyên nhân của việc công bố có chọn lọc các kết quả nghiên cứu sai lệch trong khi ngừng công bố các chỉ trích khắt khe về chúng và việc đánh giá sau khi xuất bản lặp lại thành kiến ​​tương tự bằng cách chọn lọc rút lại một số bài báo nghiêm ngặt có thể đã đưa ra. thông qua đánh giá ngang hàng ban đầu trước khi xuất bản trong khi vẫn để những đánh giá cấp thấp gây nhầm lẫn giữa mối tương quan và quan hệ nhân quả. ^[143]

Đánh giá ngang hàng và sự tin cậy

Các nhà nghiên cứu đã xem xét ngang hàng các bản thảo trước khi xuất bản theo nhiều cách khác nhau kể từ thế kỷ 18. ^{[144] [145]} Mục tiêu chính của thực hành này là cải thiện mức độ liên quan và độ chính xác của các cuộc thảo luận khoa học. Cho dù các chuyên gia thường chỉ trích việc đánh giá đồng cấp vì một số lý do, quy trình này vẫn thường được coi là "tiêu chuẩn vàng" của khoa học. ^[146] Tuy nhiên, đôi khi, đánh giá đồng cấp phê duyệt các nghiên cứu sau đó được phát hiện là sai và hiếm khi kết quả lừa đảo hoặc gian lận được phát hiện trước khi xuất bản. ^{[147] [148]} Như vậy, dường như có một yếu tố bất hòa giữa ý thức hệ đằng sau và thực hành bình duyệt đồng đẳng. Bằng cách không truyền đạt một cách hiệu quả rằng đánh giá ngang hàng là không hoàn hảo, thông điệp được truyền tải đến công chúng rộng rãi hơn là các nghiên cứu được xuất bản trên các tạp chí được bình duyệt là "đúng" và đánh giá đồng cấp bảo vệ tài liệu khỏi khoa học thiếu sót. Một số phản biện có cơ sở tồn tại với nhiều yếu tố của phản biện đồng cấp. ^{[149] [150] [151]} Trong phần sau, chúng tôi mô tả các trường hợp tác động rộng hơn của việc đánh giá đồng cấp không phù hợp có thể có đối với sự hiểu biết của công chúng về tài liệu khoa học.

Nhiều ví dụ về một số lĩnh vực khoa học cho thấy rằng các nhà khoa học đã nâng cao tầm quan trọng của đánh giá đồng cấp đối với nghiên cứu có vấn đề hoặc bị lỗi. Ví dụ, những người phủ nhận biến đổi khí hậu đã công bố các nghiên cứu trên tạp chí Năng lượng và Môi trường , cố gắng phá hoại cơ quan nghiên cứu cho thấy hoạt động của con người tác động đến khí hậu Trái đất như thế nào. Các chính trị gia ở Hoa Kỳ từ chối khoa học về biến đổi khí hậu đã được thành lập sau đó đã trích dẫn tạp chí này nhiều lần trong các bài phát biểu và báo cáo. ^[152]

Đôi khi, đánh giá ngang hàng được coi là một quá trình được sắp xếp để đạt được kết quả định trước. New York Times đã có được quyền truy cập vào các tài liệu bình duyệt bí mật cho các nghiên cứu được tài trợ bởi Liên đoàn Bóng đá Quốc gia (NFL) được coi là bằng chứng khoa học cho thấy chấn thương não không gây tổn hại lâu dài cho các cầu thủ của họ. ^[153] Trong quá trình đánh giá ngang hàng, các tác giả của nghiên cứu nói rằng tất cả các cầu thủ NFL đều là một phần của một nghiên cứu, một tuyên bố rằng các phóng viên đã phát hiện ra là sai bằng cách kiểm tra cơ sở dữ liệu được sử dụng cho nghiên cứu. Hơn nữa, The Times lưu ý rằng NFL đã tìm cách hợp pháp hóa "các phương pháp và kết luận của nghiên cứu bằng cách trích dẫn" quy trình đánh giá đồng cấp nghiêm ngặt, bí mật "mặc dù có bằng chứng cho thấy một số người bình duyệt dường như" tuyệt vọng "để dừng công bố của họ. Nghiên cứu gần đây cũng đã chứng minh rằng Nguồn tài trợ rộng rãi trong ngành cho các nghiên cứu y khoa đã xuất bản thường không được khai báo và những xung đột lợi ích như vậy không được giải quyết một cách thích hợp bằng đánh giá đồng cấp. ^{[154] [155]}

Một vấn đề khác mà đánh giá ngang hàng không giải quyết được là viết ma , một quá trình mà các công ty soạn thảo các bài báo cho các học giả, sau đó xuất bản chúng trên các tạp chí, đôi khi có rất ít hoặc không có thay đổi. ^[156] Những nghiên cứu này sau đó có thể được sử dụng cho các mục đích chính trị, quy định và tiếp thị. Vào năm 2010, Ủy ban Tài chính Thượng viện Hoa Kỳ đã công bố một báo cáo cho thấy thực tế này đang phổ biến, nó làm hỏng các tài liệu khoa học và tăng tỷ lệ kê đơn. ^{[157] Các} bài báo viết bằng ma đã xuất hiện trên hàng chục tạp chí, với sự tham gia của các giáo sư tại một số trường đại học. ^[158]

Cũng giống như các chuyên gia trong một lĩnh vực cụ thể hiểu rõ hơn về giá trị của các bài báo được xuất bản trong khu vực của họ, các nhà khoa học được coi là nắm bắt tốt hơn giá trị của các bài báo đã xuất bản so với công chúng nói chung và xem bình duyệt là một quá trình của con người, với con người. thất bại, ^[159] và rằng "bất chấp những hạn chế của nó, chúng tôi cần nó. Đó là tất cả những gì chúng tôi có, và thật khó để tưởng tượng chúng tôi sẽ hòa hợp như thế nào nếu không có nó". ^[160] Nhưng những điều tinh tế này đã bị mất đi đối với công chúng, những người thường bị nhầm lẫn khi nghĩ rằng công bố trên một tạp chí có bình duyệt là "tiêu chuẩn vàng" và có thể đánh đồng sai nghiên cứu đã xuất bản với sự thật. ^[159] Do đó, cần phải quan tâm nhiều hơn đến cách thức truyền đạt thông tin đến các đối tượng không phải là chuyên gia và kết quả của nghiên cứu có bình duyệt đồng đẳng; đặc biệt là trong thời gian mà một loạt các thay đổi kỹ thuật và sự đánh giá sâu sắc hơn về sự phức tạp của hoạt động đánh giá đồng cấp đang xuất hiện. ^{[161] [162] [163] [164]} Điều này sẽ cần thiết vì hệ thống xuất bản học thuật phải đối mặt với các vấn đề rộng lớn hơn như rút lại ^{[148] [165] [166]} và "khủng hoảng" tái tạo hoặc tái sản xuất. ^{[167] [ 168] [169]}

Lượt xem đánh giá ngang hàng

Phản biện thường được coi là không thể thiếu đối với diễn ngôn khoa học dưới hình thức này hay hình thức khác. Vai trò canh gác của nó được cho là cần thiết để duy trì chất lượng của các tài liệu khoa học ^{[170] [171]} và tránh nguy cơ dẫn đến các kết quả không đáng tin cậy, không có khả năng tách tín hiệu khỏi nhiễu và làm chậm tiến độ khoa học. ^{[172] [173]}

Những thiếu sót của đánh giá ngang hàng đã được đáp ứng với các yêu cầu lọc mạnh hơn và canh gác nhiều hơn. Một lập luận phổ biến ủng hộ các sáng kiến ​​như vậy là niềm tin rằng bộ lọc này là cần thiết để duy trì tính toàn vẹn của tài liệu khoa học. ^{[174] [175]}

Những lời kêu gọi giám sát nhiều hơn có ít nhất hai hàm ý trái ngược với những gì được gọi là học thuật thực sự. ^[159]

1. Niềm tin rằng các học giả không có khả năng tự mình đánh giá chất lượng công việc, rằng họ cần một người gác cổng để thông báo cho họ biết điều gì tốt và điều gì không.
2. Niềm tin rằng các học giả cần một "người giám hộ" để đảm bảo rằng họ đang làm tốt công việc.

Những người khác lập luận ^[159] rằng hầu hết các tác giả đều quan tâm đến chất lượng của một tác phẩm cụ thể. Chỉ có các tác giả mới có thể có, như Feynman (1974) ^[176] đã nói, "kiểu chính trực bổ sung không phải là không nói dối, nhưng cúi người về phía sau để cho thấy bạn có thể sai như thế nào, mà bạn phải có khi hành động như thế nào. một nhà khoa học." Nếu có bất cứ điều gì, quy trình đánh giá ngang hàng và hệ thống học thuật hiện tại có thể trừng phạt, hoặc ít nhất là không khuyến khích được tính chính trực như vậy.

Thay vào đó, độ tin cậy được trao bởi nhãn "được bình duyệt" có thể làm giảm đi cái mà Feynman gọi là văn hóa nghi ngờ cần thiết để khoa học vận hành một quá trình tự sửa chữa, tìm kiếm sự thật. ^[177] Tác động của điều này có thể được nhìn thấy trong cuộc khủng hoảng nhân bản đang diễn ra , những trò lừa bịp và sự phẫn nộ lan rộng đối với tính kém hiệu quả của hệ thống hiện tại. ^{[149] [144]} Người ta thường nghĩ rằng câu trả lời là giám sát nhiều hơn, vì những người bình duyệt không hề thiếu hoài nghi. Nhưng vấn đề không phải là sự hoài nghi được chia sẻ bởi một số ít người được chọn, những người xác định liệu một bài báo có vượt qua bộ lọc hay không. Đó là sự xác nhận, và kèm theo đó là sự thiếu hoài nghi, xuất hiện sau đó. ^[178] Ở đây một lần nữa, việc giám sát nhiều hơn chỉ làm tăng thêm ấn tượng rằng đánh giá đồng cấp đảm bảo chất lượng, do đó làm giảm bớt văn hóa nghi ngờ và chống lại tinh thần nghiên cứu khoa học. ^[179]

Nghiên cứu chất lượng - ngay cả một số khám phá khoa học cơ bản nhất của chúng ta - đã có từ nhiều thế kỷ trước, rất lâu trước khi đánh giá ngang hàng có hình thức như hiện nay. ^{[144] [180] [145]} Dù phản biện ngang hàng tồn tại từ nhiều thế kỷ trước, nó có một hình thức khác với thời hiện đại, không có ảnh hưởng của các công ty xuất bản lớn, thương mại hoặc một nền văn hóa xuất bản phổ biến hoặc đã bị diệt vong . ^[180] Mặc dù trong quan niệm ban đầu, đây thường là một công việc tốn nhiều thời gian và công sức, các nhà nghiên cứu vẫn xem xét đồng nghiệp, không phải vì nghĩa vụ mà là ngoài nghĩa vụ để duy trì tính toàn vẹn của học thuật của họ. Họ đã xoay sở để làm như vậy, phần lớn, mà không cần sự hỗ trợ của các tạp chí tập trung, các biên tập viên, hoặc bất kỳ quy trình chính thức hóa hoặc thể chế hóa nào. Những người ủng hộ công nghệ hiện đại lập luận ^[159] rằng nó có thể giao tiếp tức thì với các học giả trên toàn cầu, làm cho việc trao đổi học thuật như vậy dễ dàng hơn và khôi phục đánh giá ngang hàng về một hình thức học thuật thuần túy hơn, như một bài diễn thuyết trong đó các nhà nghiên cứu tham gia với nhau để tốt hơn làm rõ, hiểu và truyền đạt những hiểu biết sâu sắc của họ. ^{[162] [181]}

Công nghệ hiện đại như vậy bao gồm đăng kết quả lên máy chủ in trước , đăng ký trước các nghiên cứu, đánh giá ngang hàng mở và các thực hành khoa học mở khác. ^{[168] [182] [183]} Trong tất cả các sáng kiến ​​này, vai trò của người gác cổng vẫn nổi bật, như thể là một tính năng cần thiết của tất cả các giao tiếp học thuật, nhưng các nhà phê bình cho rằng ^[151] việc triển khai đúng đắn, trong thế giới thực có thể kiểm tra và bác bỏ điều này. giả thiết; thể hiện mong muốn của các nhà nghiên cứu về nhiều hơn nữa mà các tạp chí truyền thống có thể cung cấp; cho thấy rằng các nhà nghiên cứu có thể được giao thực hiện việc kiểm soát chất lượng của riêng họ độc lập với việc đánh giá kết hợp giữa các tạp chí. Jon Tennant cũng lập luận rằng sự phản đối kịch liệt về sự kém hiệu quả của các tạp chí truyền thống tập trung vào việc họ không có khả năng cung cấp sự giám sát đủ chặt chẽ và việc thuê ngoài tư duy phản biện cho một quy trình được che giấu và kém hiểu biết. Vì vậy, giả định rằng các tạp chí và bình duyệt là cần thiết để bảo vệ tính toàn vẹn của khoa học dường như làm xói mòn chính nền tảng của nghiên cứu học thuật. ^[159]

Để kiểm tra giả thuyết rằng việc lọc thực sự là không cần thiết để kiểm soát chất lượng, nhiều phương thức xuất bản truyền thống sẽ cần được thiết kế lại, các ban biên tập được thay thế nếu không bị giải tán và các tác giả được cấp quyền kiểm soát việc đánh giá đồng cấp tác phẩm của họ. Việc để các tác giả phụ trách đánh giá ngang hàng của chính họ được coi là phục vụ một mục đích kép. ^[159] Một mặt, nó xóa bỏ quy định về chất lượng trong hệ thống truyền thống, do đó xóa bỏ uy tín gắn liền với hành động xuất bản đơn giản. Có lẽ nghịch lý là, việc loại bỏ rào cản này có thể thực sự dẫn đến việc nâng cao chất lượng của tác phẩm đã xuất bản, vì nó loại bỏ bộ nhớ cache của việc xuất bản vì lợi ích của chính nó. Mặt khác, độc giả biết rằng không có bộ lọc vì vậy họ phải giải thích bất cứ điều gì họ đọc với liều lượng hoài nghi lành mạnh, do đó khôi phục một cách tự nhiên văn hóa nghi ngờ đối với thực tiễn khoa học. ^{[184] [185] [186]}

Bên cạnh những lo ngại về chất lượng công việc của những nhà nghiên cứu có thiện chí, còn có những lo ngại rằng một hệ thống thực sự mở sẽ cho phép các tài liệu trở nên tạp nham và tuyên truyền bởi những người quan tâm đến một số vấn đề. Một lập luận phản bác là mô hình bình duyệt truyền thống làm giảm đi sự hoài nghi lành mạnh vốn là một dấu hiệu của nghiên cứu khoa học, và do đó tạo sự tin cậy cho những nỗ lực lật đổ để thâm nhập vào tài liệu. ^[159] Việc cho phép xuất bản những thứ "rác rưởi" như vậy có thể khiến các bài báo riêng lẻ kém tin cậy hơn nhưng lại làm cho nền văn học tổng thể trở nên mạnh mẽ hơn bằng cách nuôi dưỡng một "văn hóa nghi ngờ". ^[184]

Cáo buộc thiên vị và đàn áp

Việc bố trí người biên tập và người duyệt giữa tác giả và độc giả có thể cho phép người trung gian hoạt động như người gác cổng . ^[187] Một số nhà xã hội học về khoa học lập luận rằng bình duyệt đồng nghiệp khiến khả năng xuất bản dễ bị kiểm soát bởi giới tinh hoa và sự ghen tị cá nhân. ^[188] Quá trình đánh giá ngang hàng đôi khi có thể cản trở tiến độ và có thể thiên vị đối với tính mới. ^{[20] [189]} Phân tích ngôn ngữ của các báo cáo đánh giá cho thấy rằng người đánh giá tập trung vào việc từ chối đơn đăng ký bằng cách tìm kiếm điểm yếu, chứ không phải tìm kiếm ý tưởng đột phá có rủi ro cao / lợi ích cao có thể có trong đề xuất. ^[190] Người phản biện có xu hướng đặc biệt chỉ trích những kết luận mâu thuẫn với quan điểm của họ , ^{[191] [192]} và khoan dung với những kết luận phù hợp với họ. Đồng thời, các nhà khoa học thành danh có nhiều khả năng được chọn làm trọng tài hơn những người khác, đặc biệt là các tạp chí / nhà xuất bản có uy tín cao. Kết quả là, những ý tưởng hài hòa với các chuyên gia đã thành danh sẽ có nhiều khả năng được in và xuất hiện trên các tạp chí hàng đầu hơn là những ý tưởng mang tính biểu tượng hoặc mang tính cách mạng. Điều này phù hợp với những quan sát nổi tiếng của Thomas Kuhn về các cuộc cách mạng khoa học . ^[193] Một mô hình lý thuyết đã được thiết lập mà mô phỏng của nó ngụ ý rằng việc đánh giá ngang hàng và tài trợ nghiên cứu quá cạnh tranh thúc đẩy quan điểm chính thống đến độc quyền. ^[194]

Những lời chỉ trích về đánh giá ngang hàng ẩn danh truyền thống cáo buộc rằng nó thiếu trách nhiệm giải trình, có thể dẫn đến sự lạm dụng của những người đánh giá và có thể thiên vị và không nhất quán. ^{[67] [65] [195]}

Cũng đã có những gợi ý về sự lệch lạc giới trong đánh giá đồng nghiệp, với các tác giả nam có khả năng được đối xử thuận lợi hơn. ^[196] Tuy nhiên, một nghiên cứu năm 2021 không tìm thấy bằng chứng cho sự thiên vị đó (và nhận thấy rằng ở một số khía cạnh, các tác giả nữ được đối xử thuận lợi hơn). ^{[197] [198] [199]}

Mở tạp chí truy cập và đánh giá ngang hàng

Một số nhà phê bình các tạp chí truy cập mở (OA) đã lập luận rằng, so với các tạp chí đăng ký truyền thống, các tạp chí truy cập mở có thể sử dụng các phương pháp đánh giá ngang hàng không đạt tiêu chuẩn hoặc ít chính thức hơn, và do đó, chất lượng của công trình khoa học trong các tạp chí đó sẽ bị ảnh hưởng. ^[200] Trong một nghiên cứu được công bố vào năm 2012, giả thuyết này đã được kiểm tra bằng cách đánh giá "tác động" tương đối (sử dụng số lượng trích dẫn) của các bài báo được xuất bản trên các tạp chí đăng ký và truy cập mở, với lý do là các thành viên của cộng đồng khoa học có lẽ sẽ ít bị trích dẫn công trình không đạt tiêu chuẩn, và số lượng trích dẫn do đó có thể đóng vai trò như một chỉ báo về việc định dạng tạp chí có thực sự ảnh hưởng đến đánh giá đồng cấp và chất lượng của học bổng được xuất bản hay không. ^[201] Nghiên cứu này cuối cùng đã kết luận rằng "các tạp chí OA được lập chỉ mục trong Web of Science và / hoặc Scopus đang tiếp cận tác động khoa học và chất lượng tương tự như các tạp chí đăng ký, đặc biệt là trong y sinh học và cho các tạp chí được tài trợ bởi phí xử lý bài báo," và các tác giả do đó lập luận rằng "không có lý do gì để các tác giả không chọn đăng trên các tạp chí về OA chỉ vì nhãn 'OA'.

Thất bại

Đánh giá ngang hàng không thành công khi một bài báo được bình duyệt chứa các lỗi cơ bản làm suy yếu ít nhất một trong những kết luận chính của nó và điều đó có thể được xác định bởi những người đánh giá cẩn thận hơn. Nhiều tạp chí không có thủ tục nào để đối phó với những thất bại của bình duyệt ngoài việc xuất bản thư cho ban biên tập. ^[202] Đánh giá ngang hàng trên các tạp chí khoa học giả định rằng bài báo được duyệt đã được chuẩn bị một cách trung thực. Quy trình này đôi khi phát hiện gian lận, nhưng không được thiết kế để làm như vậy. ^[203] Khi đánh giá ngang hàng không thành công và một bài báo được xuất bản với dữ liệu gian lận hoặc không thể thu được, bài báo có thể bị rút lại . Một thử nghiệm năm 1998 về đánh giá ngang hàng với một bản thảo hư cấu cho thấy rằng những người bình duyệt không phát hiện ra một số lỗi bản thảo và phần lớn những người bình duyệt có thể không nhận thấy rằng kết luận của bài báo không được hỗ trợ bởi kết quả của nó. ^[204]

Đánh giá đồng đẳng giả mạo

Đã có những trường hợp đánh giá ngang hàng được tuyên bố là được thực hiện nhưng trên thực tế thì không; điều này đã được ghi lại trong một số tạp chí truy cập mở mang tính săn mồi (ví dụ: Vụ Ai Sợ Đồng Đẳng? ) hoặc trong trường hợp các tạp chí Elsevier được tài trợ . ^[205]

Vào tháng 11 năm 2014, một bài báo trên tạp chí Nature đã tiết lộ rằng một số học giả đã gửi chi tiết liên hệ giả mạo cho người đánh giá được đề xuất cho các tạp chí, để nếu nhà xuất bản liên hệ với người đánh giá được đề xuất, họ chính là tác giả chính đánh giá tác phẩm của họ dưới một cái tên giả. ^[206] Các Ủy ban về Đạo đức bản đã ban hành một tuyên bố cảnh báo về việc thực hành lừa đảo. ^[207] Vào tháng 3 năm 2015, BioMed Central đã rút lại 43 bài báo ^[208] và Springer đã rút lại 64 bài báo trên 10 tạp chí vào tháng 8 năm 2015. ^[209] Tạp chí Tumor Biology là một ví dụ khác về gian lận đánh giá ngang hàng. ^[205]

Vào năm 2020, Tạp chí Nghiên cứu Hạt nano trở thành nạn nhân của "mạng lưới biên tập viên lừa đảo có tổ chức", kẻ đã mạo danh các học giả được kính trọng, tạo ra một số báo theo chủ đề và có 19 bài báo không đạt tiêu chuẩn được xuất bản (trong số 80 bài báo được gửi). ^{[210] [211]} Tạp chí được ca ngợi vì đã xử lý vụ lừa đảo một cách công khai và minh bạch. ^[210]

Đạo văn

Những người phản biện thường thiếu quyền truy cập vào dữ liệu thô, nhưng vẫn xem toàn bộ nội dung của bản thảo và thường quen thuộc với các ấn phẩm gần đây trong khu vực. Vì vậy, họ có lợi thế hơn để phát hiện đạo văn của văn xuôi hơn là gian lận dữ liệu. Ví dụ, một vài trường hợp đạo văn văn bản như vậy của các nhà sử học đã được công bố rộng rãi. ^[212]

Về mặt khoa học, một cuộc thăm dò ý kiến ​​của 3.247 nhà khoa học do Viện Y tế Quốc gia Hoa Kỳ tài trợ cho thấy 0,3% thừa nhận việc làm giả dữ liệu và 1,4% thừa nhận đạo văn. ^[213] Ngoài ra, 4,7% trong cùng một cuộc thăm dò thừa nhận tự đạo văn hoặc tự đạo văn , trong đó một tác giả đăng lại cùng một tài liệu, dữ liệu hoặc văn bản, mà không trích dẫn tác phẩm trước đó của họ. ^{[213] [ cần làm rõ ]}

Các ví dụ

• "Có lẽ sự thất bại được công nhận rộng rãi nhất của hoạt động bình duyệt là không có khả năng đảm bảo xác định được công trình chất lượng cao. Danh sách các bài báo khoa học quan trọng đã bị một số tạp chí bình duyệt từ chối ít nhất là theo biên tập viên của Philosophical Transaction's. 1796 từ chối Edward Jenner 's báo cáo những người đầu tiên tiêm vắc xin chống lại bệnh đậu mùa ." ^[214]
• Cuộc tranh cãi Soon và Baliunas liên quan đến việc xuất bản năm 2003 một nghiên cứu đánh giá được viết bởi kỹ sư hàng không vũ trụ Willie Soon và nhà thiên văn học Sallie Baliunas trên tạp chí Climate Research , ^[215] đã nhanh chóng được chính quyền GW Bush đưa ra làm cơ sở để sửa đổi nghiên cứu đầu tiên. Cơ quan Bảo vệ Môi trường Báo cáo về Môi trường . Bài báo đã bị nhiều nhà khoa học chỉ trích mạnh mẽ về phương pháp luận và việc sử dụng sai dữ liệu từ các nghiên cứu đã xuất bản trước đó, gây ra lo ngại về quy trình đánh giá đồng cấp của bài báo. Cuộc tranh cãi dẫn đến việc một số biên tập viên của tạp chí từ chức và nhà xuất bản Otto Kinne thừa nhận rằng bài báo lẽ ra không được xuất bản như nó vốn có.
• Các quy tắc hình thang , trong đó phương pháp của Riemann tổng kết hội nhập số được tái bản trong một tạp chí nghiên cứu bệnh tiểu đường, Diabetes Care . ^[216] Phương pháp này hầu như luôn được dạy trong môn giải tích ở trường trung học, và do đó được coi là một ví dụ về một ý tưởng cực kỳ nổi tiếng được đổi tên thành một khám phá mới. ^[217]
• Một hội nghị do Viện Công nghệ Wessex tổ chức là mục tiêu của một cuộc triển lãm của ba nhà nghiên cứu, những người đã viết những bài báo vô nghĩa (trong đó có một bài báo gồm các cụm từ ngẫu nhiên). Họ báo cáo rằng các bài báo đã được "xem xét và chấp nhận tạm thời" và kết luận rằng hội nghị là một nỗ lực để "bán" khả năng xuất bản cho các nhà nghiên cứu ít kinh nghiệm hoặc ngây thơ. ^[218] Tuy nhiên, điều này có thể được mô tả tốt hơn là thiếu bất kỳ đánh giá đồng cấp thực tế nào, hơn là đánh giá đồng cấp không thành công.
• Trong lĩnh vực nhân văn, một trong những trường hợp đạo văn khét tiếng nhất mà không bị phát hiện bởi đánh giá đồng cấp liên quan đến Martin Stone, trước đây là giáo sư triết học thời Trung cổ và Phục hưng tại Hoger Instituut voor Wijsbegeerte của KU Leuven . Martin Stone đã quản lý để xuất bản ít nhất bốn mươi bài báo và chương sách gần như hoàn toàn bị đánh cắp khỏi tác phẩm của người khác. Hầu hết các ấn phẩm này đều xuất hiện trên các tạp chí và bộ sách được bình duyệt cao. ^{[219] [220]}

Vào năm 2017, Trường Kinh tế Đại học ở Moscow đã công bố một "Đài tưởng niệm một nhà phê bình ẩn danh". Nó có dạng một khối bê tông lớn hoặc xúc xắc, với "Chấp nhận", "Thay đổi nhỏ", "Thay đổi chính", "Sửa đổi và gửi lại" và "Từ chối" trên năm mặt có thể nhìn thấy của nó. Nhà xã hội học Igor Chirikov , người đã nghĩ ra tượng đài, nói rằng trong khi các nhà nghiên cứu có mối quan hệ yêu ghét với bình duyệt, những người bình duyệt dù sao cũng làm được những công việc có giá trị nhưng chủ yếu là vô hình, và tượng đài là một sự tôn vinh đối với họ. ^[221]

• "Tranh luận bình duyệt" . Thiên nhiên. Tháng 6 năm 2006.
• Góc nhìn đa ngành về những đổi mới mới nổi và trong tương lai trong đánh giá ngang hàng
• Fitzpatrick, Kathleen (2011). Kế hoạch lỗi thời: xuất bản, công nghệ và tương lai của học viện . New York: Nhà xuất bản Đại học New York. ISBN 978-0-8147-2788-1. OCLC  759000874 .
• Paltridge, Brian (2017). The Discourse of Peer Review: xem xét các bài nộp cho các tạp chí học thuật . Luân Đôn: Palgrave Macmillan. doi : 10.1057 / 978-1-137-48736-0 . ISBN 978-1-137-48735-3.
• Rose, Sam (tháng 8 năm 2019). "Bình duyệt trong lịch sử nghệ thuật". Tạp chí Burlington . 161 (1397): 621–25.