Lạm dụng Thống kê Trích dẫn (Citation Statistics)

December 13, 2012 by Kinh Nguyen

Đánh giá chất lượng nghiên cứu thông qua chỉ số ảnh hưởng (IF) của ISI cũng như một số chỉ số đơn giản khác đang là một xu hướng lớn hiện nay. Năm 2008 một ủy ban hỗn hợp IMU (Liên hiệp Toán Quốc tế)/ICIAM(Ủy ban Quốc tế về Toán Ứng dụng và Công nghiệp)/IMS (Viện Toán Thống kê) đã được thành lập để xem xét mọi khía cạnh của việc sử dụng các thống kê trích dẫn trong việc đánh giá chất lượng khoa học. Chúng tôi xin trích dịch bản báo cáo dài 26 trang này.

Thông điệp từ ủy ban 

Nỗ lực tiến tới sự minh bạch và trách nhiệm  trong giới khoa học đã tạo ra một "văn hóa số" mà ở đó các đơn vị khoa học và các cá nhân tin rằng các quyết định công bằng có thể được đưa ra thông qua một thuật toán đánh giá những dữ liệu thống kê, Vì không có khả năng đánh giá chất lượng thật sự - là mục đích cuối cùng - những người hữu trách thay thế việc này bởi các con số mà họ có thể tính toán được. Khuynh hướng này cần những phản biện từ những người làm việc chuyên nghiệp với các con số – các nhà toán học và các nhà thống kê.

Tổng quan báo cáo
Đây là bản báo cáo về việc sử dụng và lạm dụng dữ liệu về trích dẫn trong việc đánh giá nghiên cứu khoa học. Ý tưởng rằng việc nghiên cứu đánh giá cần được thực hiện bởi các phương pháp “đơn giản và khách quan” ngày càng thịnh hành. Các phương pháp “đơn giản và khách quan” này thường được hiểu là phương pháp biblio-metric, nghĩa là, các dữ liệu về việc trích dẫn và các thống kê rút ra qua đó.

Người ta tin rằng thống kê trích dẫn hiển nhiên chính xác hơn vì chúng thay thế  những đánh giá phức tạp bởi những con số đơn giản, và do đó vượt qua tính chủ quan của việc đánh giá bởi chuyên gia. Nhưng niềm tin này không có cơ sở. 

• Dựa trên thống kê sẽ càng không chính xác hơn nếu việc thống kê không được sử dụng đúng cách. Thật vậy, việc thống kê có thể đưa đến thông tin sai nếu nó bị áp dụng sai hoặc bị hiểu nhầm. Đa phần biblo-metric hiện đại dường như dựa trên kinh nghiệm và cảm nhận về cách hiểu và sự chính xác của thống kê trích dẫn.
• Trong khi các con số tỏ ra “khách quan”, sự khách quan đó có thể là ảo tưởng. Ý nghĩa của một trích dẫn có thể chủ quan hơn một nhận xét phản biện. Vì sự chủ quan của các trích dẫn ít hiển nhiên hơn, những người sử dụng dữ liệu trích dẫn có vẻ không hiểu được hạn chế của mình.
•  Việc dựa hoàn toàn vào dữ liệu trích dẫn cho ta một hiểu biết phiến diện và thường nông cạn về nghiên cứu – hiểu biết đó chỉ có giá trị nếu được bổ sung những đánh giá khác. Các con số không là tiên quyết trong việc đưa ra đánh giá.

Sử dụng dữ liệu trích dẫn để đánh giá nghiên cứu thực ra có nghĩa là sử dụng các thống kê dựa trên trích dẫn để sắp hạng mọi thứ – tạp chí, bài báo, con người, chương trình và chuyên ngành.

Những công cụ thống kê để sắp hạng những hạng mục này thường bị hiểu nhầm và bị lạm dụng.

• Đối với tạp chí, việc sắp hạng thường sử dụng chỉ số ảnh hưởng (IF-Impact Factor). Đây là một ước lượng đơn giản rút ra từ phân bố của các trích dẫn đối với một tập hợp các bài báo trong một tạp chí. Ước lượng này chỉ chứa một lượng thông tin nhỏ về sự phân bố đó, và đây là một thống kê khá thô. Thêm vào đó có nhiều yếu tố trùng lặp khi đánh giá tạp chỉ bởi các trích dẫn, và bất kỳ so sánh các tạp chí nào cũng cần rất cẩn thận nếu sử dụng chỉ số ảnh hưởng. Sử dụng một mình chỉ số ảnh hưởng để đánh giá một tạp chí cũng giống như chỉ sử dụng cân nặng để đánh giá sức khỏe một người.
•  Đối với các bài báo, người ta thường dùng chỉ số ảnh hưởng của tạp chí đăng bài đó, thay vì đếm số trích dẫn để so sánh các bài báo cụ thể. Người ta nghĩ rằng một tạp chí với chỉ số ảnh hưởng cao hơn sẽ cho chỉ số trích dẫn cao hơn. Nhưng điều đó nhiều khi không xảy ra! Đây là một sự lạm dụng thậm tệ của thống kê mà ta cần phản đối bất kỳ lúc nào và bất kỳ nơi nào có hiện tượng đó xuất hiện
• Đối với từng nhà khoa học, việc so sánh tỉ mỉ các thông tin về trích dẫn không phải là đơn giản. Vì thế người ta thường cố tìm các thống kê có thể phản ánh được toàn bộ sự phức tạp của các thông tin về trích dẫn thông qua một con số đơn giản. Trong số đó được biết đến nhiều nhất là chỉ số h (H-index), một chỉ số ngày càng được ưa chuộng. Nhưng một nghiên cứu chi tiết chỉ số h và các biến thể của nó chỉ ra rằng chúng là những cố gắng ấu trĩ để hiểu được những thông tin phức tạp về trích dẫn. Tuy bao hàm một lượng nhỏ thông tin về sự phân bố trích dẫn của một nhà khoa học, chúng bỏ qua thông tin quan trọng nhất dùng để đánh giá việc nghiên cứu. Tính chân thực của những thống kê như chỉ số ảnh hưởng và chí số h chưa  được hiểu rõ cũng như chưa được nghiên cứu cẩn thận. Mối liên quan của những chỉ số này tới chất lượng nghiên cứu đôi khi được đưa ra trên cơ sở của "kinh nghiệm". Việc dựa vào chúng là vì chúng "dễ kiếm". Một vài nghiên cứu đã có về những thống kê này chỉ tập trung vào việc chỉ ra mối tương quan với những cách đánh giá chất lượng khác thay vì tập trung vào việc xác định xem ta có thể thu được bao nhiêu thông tin có ích từ các dữ liệu trích dẫn.

Chúng tôi không phủ nhận thống kê trích dẫn là một công cụ để đánh giá chất lượng nghiên cứu–các dữ liệu trích dẫn và thống kê có thể cho ta một số thông tin có giá trị. Chúng tôi công nhận rằng việc đánh giá cần phải thuận tiện, và vì thế những thống kê trích dẫn dễ tính toán chắc chắn sẽ là một phần của quá trình đánh giá. Nhưng các dữ liệu trích dẫn chỉ cho ta một cái nhìn hạn chế và không đầy đủ về chất lượng nghiên cứu, và những thống kê thu được từ các dữ liện trích dẫn nhiều khi bị hiểu một cách hời hợt và bị lạm dụng. Sự quan trọng của nghiên cứu không cho phép ta đánh giá nó chỉ thông qua duy nhất một con số thô thiển. 

Chúng tôi hy vọng rằng những người có liên quan tới việc đánh giá sẽ đọc cả phần bình luận cũng như các chi tiết của bản báo cáo này để có thể hiểu không chỉ sự hạn chế của các thống kê trích dẫn mà còn cả cách làm sao để có thể sử dụng chúng tốt hơn. Nếu chúng ta muốn
có những tiêu chí cao cho các sản phẩm khoa học, chắc chắn chúng ta cũng cần những tiêu chí cao cho quá trình đánh giá chất lượng của khoa học.

(Còn tiếp)
Ủy ban hỗn hợp IMU/ICIAM/IMS về Đánh giá chất lượng nghiên cứu
Robert Adler, Technion-Israel Institute of Technology
John Ewing (Chủ tịch), American Mathematical Society
Peter Taylor, University of Melbourne

Phùng Hồ Hải (Viện Toán học) dịch và giới thiệu

http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf