Lạm dụng thống kê trích dẫn (tt)

December 18, 2012 by Kinh Nguyen

Tiếp theo kì trước

Mở đầu
Chúng ta đều hiểu sự quan trọng của nghiên cứu khoa học. Nghiên cứu góp phần tạo ra rất nhiều tiến bộ trong xã hội hiên đại và đem lại hy vọng giải quyết một số trong những vẫn đề khó khăn nhất đang đối mặt với nhân loại, từ môi trường cho tới tăng dân số. Vì thế các chính quyền và cơ quan trên toàn thế giới đảm bảo một một lượng tài chính đáng kể để tài trợ cho nghiên cứu khoa học. Hiển nhiên họ muốn biết số tiền tài trợ đó có được đầu tư một cách thích đáng hay không, họ muốn đánh giá chất lượng nghiên cứu mà họ đã chi tiên để có thể đưa ra những quyết định về đầu tư trong tương lai.

Đây không phải là điều gì mới: Người ta đã đánh giá nghiên cứu từ lâu. Nhưng điều mới ở đây là quan điểm một đánh giá tốt phải “đơn giản và khách quan”, và rằng điều này có thể thu được từ các thống kê về dữ liệu trích dẫn, thay vì sử dụng một loạt các phương pháp đánh giá khác, bao gồm cả những đánh giá từ bản thân các nhà khoa học.

Những người ủng hộ sự khách quan đơn giản này tin rằng nghiên cứu là quá quan trọng để có thể dựa trên những đánh giá chủ quan. Họ tin rằng những đo đạc dựa trên trích dẫn đem đến sự minh bạch cho quá trình xếp hạng và loại trừ những nhập nhằng cố hữu trong các phương thức đánh giá khác. Họ tin rằng các thước đo đã được lựa chọn cẩn thận là độc lập và không thiên vị. Hơn tất cả, họ tin rằng các thước đo đó cho phép chúng ta so sánh mọi bộ phận của quá trình nghiên cứu từ tạp chí, các bài đăn báo, con người, đề án, và thậm chỉ cả một lĩnh vực – đơn giản và hiệu quả, không cần tới những phản biện (peer-review) chủ quan.

Nhưng niềm tin vào sự chính xác, độc lập và hiệu quả của các thước đo bị đặt nhầm chỗ:

• Thứ nhất, sự chính xác của các thước đo này là ảo tưởng. Ai cũng biết rằng các số thống kê có thể lừa chúng ta nếu bị sử dụng không đúng cách. Việc lạm dụng thống kê trích dẫn là rất phổ biến.  Mặc dù đã có nhiều cánh báo về những lạm dụng này (như việc lạm dụng chỉ số ảnh hưởng), khiến nhà nước, tổ chức, và thậm chí cả các nhà khoa học tiếp tục đưa ra những kết luận không được được đảm bảo hoặc thậm chí sai lầm do sử dụng không đúng chỉ số trích dẫn.
• Thứ hai, việc dựa hoàn toàn vào trích dẫn chỉ là thay một cách đánh giá này bằng cách khác. Thay vì đánh giá phản biện chủ quan ta lại sử dụng cách lí giải chủ quan về ý nghĩa của trích dẫn. Những người ủng hộ cho việc dựa hoàn toàn vào việc đánh giá dựa trên trích dẫn vô hình chung giả định rằng các trích dẫn có cùng một ý nghĩa đối với bài báo được trích dẫn - “ảnh hưởng” của bài báo đó. Đây là một giả định chưa được chứng mình và ta dễ cảm nhận rằng nó không đúng.
• Thứ ba, các thống kê rất quan trọng đối với thế giới quanh ta, nhưng chúng chỉ cho ta một phần của những điều mà ta muốn biết. Trong thế giới hiện đại, việc khẳng định niềm tin hoang đường rằng các đo đạc số trị quan trọng hơn các phương thức khác đôi khi lại được coi là hợp thời. Những người ủng việc sử dụng thống kê trích dẫn như một sự thay thế cho một cách hiểu đầy đủ hơn về nghiên cứu vô hình chung mang trong mình niềm tin đó. Chúng ta không chỉ cần sử dụng thống kê một cách đúng đắn mà còn cần phải sử dụng chúng một cách tinh tế.

Nghiên cứu thường có nhiều mục đích, ngắn hạn cũng như  dài hạn, và vì thế dễ hiểu rằng việc đánh giá nó cũng cần tới nhiều chỉ tố. Các nhà khoa học cần hiểu rằng có nhiều điều, thực tế cũng như trừu tượng, không thể sắp thứ tự một cách đơn giản theo nghĩa rằng hai cái bất kỳ có thể so sánh được với nhau.

Sự so sánh thường cần một việc phân tích phức tạp, mà nhiều khi không đưa ra được quyết định cái nào trong hai đối tượng là tốt hơn. Câu trả lời chính xác cho câu hỏi “Cái nào tốt hơn?” đôi khi là “Còn tùy!”.

Yêu cầu sử dụng nhiều phương thức để đánh giá chất lượng nghiên cứu đã được đưa ra từ lâu. Các công trình có thể được đánh giá theo nhiều cách, không chỉ bởi các trích dẫn.

• Thước đo về sự kính trọng trong cộng đồng khoa học như những lời mời (báo cáo, tham gia), thành viên ban biên  tập, các giải thưởng, cũng cho ta đánh giá về chất lượng nghiên cứu.
• Ở một số lĩnh vực và tại một số nước, tài trợ nghiên cứu cũng là một tiêu chí.
• Và phản biện kín–sự đánh giá của các đồng nghiệp–là một thành tố quan trọng trong việc đánh giá.

Chúng ta không thể bỏ phản biện kín chỉ bởi đôi khi nó thiếu khách quan, cũng như chúng ta không thể bỏ thống kê trích dẫn chỉ bởi đôi khi nó bị lạm dụng. Đây chỉ là một vài trong số rất nhiều phương thức đánh giá. Có nhiều con đường đi tới đánh giá tốt và vai trò của chúng thay đổi trong từng lĩnh vực. Mặc dù vậy, các đánh giá "khách quan" dựa trên dữ liệu trích dẫn ngày càng là phương pháp đánh giá được ưa chuộng. Sự quyến rũ về một quá trình đơn giản và các số đơn giản (một số thì càng tốt) dường như đã vượt qua cả lẽ thường.

Bản báo cáo này được viết bởi các nhà toán học nhằm chỉ ra những lạm dụng của thống kê khi đánh giá nghiên cứu khoa học. Tất nhiên những lạm dụng này đôi khi cũng nhằm vào bản thân ngành toán và đó là một trong những lý do viết bản báo cáo này. Văn hóa trích dẫn đặc biệt của Toán học, với số trích dẫn thấp tới các bài báo, tác giả và tạp chí, làm cho nó đặc biệt bị tổn thương trước sự lạm dụng của thống kê trích dẫn. Chúng tôi tin rằng, mặc dù vậy, mọi nhà khoa học cũng như công chúng luôn mong muốn được sử dụng các phương pháp khoa học lành mạnh để đánh giá nghiên cứu.

Một số người trong cộng đồng khoa học có thể chối bỏ thống kê trích dẫn như một phản ứng mạnh tới những lạm dụng trong quá khứ, nhưng làm như thế cũng có nghĩa là đã bỏ qua một công cụ quý giá.

Các thống kê dựa trên trích dẫn có thể đóng một vai trò trong việc đánh giá khoa học, nếu chúng được sử dụng đúng đắn, hiểu một cách cẩn trọng, và chỉ là một phần của quá trình đánh giá.

Các trích dẫn cung cấp thông tin về tạp chí, bài báo, con người. Chúng ta không muốn giấu những thông tin đó; chúng ta muốn giải thích chúng. Đó là mục đích của báo cáo này. Nội dung đề cấp đến các cách dự liệu trích dẫn có thể được sử dụng (lạm dụng) để
đánh giá tạp chí, bài báo, và con người. Tiếp theo là thảo luận ý nghĩa đa dạng của trích dẫn và những hạn chế của việc thống kê dựa trên trích dẫn. Mục cuối cùng bàn về cách sử dụng thống kê một cách sáng suốt và đề nghị rằng việc đánh giá cần dung hòa thống kê trích dẫn cùng với các phương thức đánh giá khác, mặc dù nó làm cho việc đánh giá trở nên phức tạp hơn.

"Mọi thứ cần phải được làm một cách đơn giản nhất có thể, nhưng không đơn giản hơn", Albert Einstein đã từng nói.

Lời khuyên này từ một nhà trong những nhà khoa học xuất sắc nhất của thế giới hết sức thích hợp khi đánh giá nghiên cứu khoa học.

Kì tiếp: Sắp hạng tạp chí: Chỉ số ảnh hưởng

Ủy ban hỗn hợp IMU/ICIAM/IMS về Đánh giá chất lượng nghiên cứu
Robert Adler, Technion-Israel Institute of Technology
John Ewing (Chủ tịch), American Mathematical Society
Peter Taylor, University of Melbourne
Bản gốc có thể lấy về từ:
www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf
Phùng Hồ Hải (Viện Toán học) dịch và giới thiệu