Ý nghĩa của tính tái lập trong khoa học

Tuy nhiên, tái lập không phải dấu xác nhận tuyệt đối rằng một kết luận đã đúng trong mọi điều kiện. Giá trị của nó nằm ở việc kiểm tra xem kết quả có phụ thuộc quá nhiều vào một bộ dữ liệu, một cách phân tích, một nhóm mẫu hoặc những yếu tố ngẫu nhiên của nghiên cứu ban đầu hay không.

Tính tái lập trong khoa học là gì?

Trong cách sử dụng rộng, tính tái lập trong khoa học là khả năng thu được kết quả tương tự khi một nghiên cứu được thực hiện hoặc kiểm tra lại theo những điều kiện phù hợp. Điều cần được lặp lại không nhất thiết là từng con số giống hệt nhau; quan trọng hơn là kết luận chính hoặc mô hình kết quả vẫn tồn tại trong giới hạn sai số hợp lý.

Thuật ngữ này có thể được phân biệt chi tiết hơn tùy quy ước chuyên môn. Chẳng hạn, National Academies of Sciences, Engineering, and Medicine của Hoa Kỳ dùng “reproducibility” cho trường hợp áp dụng lại cùng dữ liệu và quy trình tính toán để thu được kết quả nhất quán, còn “replicability” chỉ việc thực hiện nghiên cứu mới và thu được kết quả phù hợp với kết luận trước đó.

Sự phân biệt này cho thấy có hai câu hỏi khác nhau. Thứ nhất, kết quả ban đầu có thể được tạo lại từ chính dữ liệu và phương pháp đã công bố hay không. Thứ hai, hiện tượng được báo cáo có tiếp tục xuất hiện khi thu thập dữ liệu mới hay không. Câu hỏi thứ hai thường đưa ra phép kiểm tra mạnh hơn đối với khả năng khái quát của một phát hiện.

Tính tái lập giúp đánh giá độ tin cậy bằng cách nào?

Một nghiên cứu đơn lẻ luôn chịu ảnh hưởng của sai số lấy mẫu, sai số đo lường, lựa chọn mô hình phân tích và nhiều quyết định trong quá trình nghiên cứu. Vì vậy, ngay cả khi quy trình hợp lý, kết quả vẫn có thể chịu tác động của ngẫu nhiên.

Khi kết quả được tái lập, những yếu tố mang tính ngẫu nhiên hoặc đặc thù của nghiên cứu đầu tiên khó có khả năng tạo ra cùng một kết luận nhiều lần. Nếu các lần kiểm tra độc lập vẫn ghi nhận hiệu ứng theo cùng hướng và với quy mô tương đối phù hợp, giả thuyết rằng kết quả chỉ xuất hiện do tình cờ trở nên kém thuyết phục hơn.

Tái lập cũng kiểm tra tính phụ thuộc của kết quả vào các quyết định phân tích. Một kết luận chỉ xuất hiện khi sử dụng một cách làm sạch dữ liệu, một mô hình thống kê hoặc một ngưỡng lựa chọn cụ thể sẽ yếu hơn kết luận duy trì được khi quy trình được thực hiện minh bạch và kiểm tra lại.

Vì thế, tính tái lập không chỉ kiểm tra “kết quả có giống nhau hay không” mà còn kiểm tra độ bền của mối quan hệ giữa phương pháp, dữ liệu và kết luận.

Một kết quả tái lập được nói lên điều gì?

Kết quả tái lập được trước hết cho thấy phát hiện có mức ổn định nhất định dưới những điều kiện đã được kiểm tra. Người nghiên cứu khác có thể đi từ dữ liệu và phương pháp đến một kết quả tương thích thay vì phải phụ thuộc vào những thao tác không được mô tả.

Nếu việc tái lập sử dụng dữ liệu mới, giá trị kiểm tra còn lớn hơn. Khi cùng hiện tượng xuất hiện ở một mẫu khác, thời điểm khác hoặc nhóm nghiên cứu khác trong phạm vi hợp lý, khả năng kết luận chỉ phản ánh đặc điểm riêng của mẫu ban đầu giảm xuống.

Một ví dụ thường được nhắc đến trong nghiên cứu về tái lập là Reproducibility Project: Psychology công bố năm 2015. Nhóm nghiên cứu thử lặp lại 100 nghiên cứu tâm lý học và ghi nhận khoảng 36% phép tái lập cho kết quả có ý nghĩa thống kê, trong khi 97% nghiên cứu ban đầu báo cáo kết quả có ý nghĩa. Quy mô hiệu ứng trung bình trong các lần tái lập cũng nhỏ hơn đáng kể so với nghiên cứu gốc.

Kết quả này không chứng minh rằng toàn bộ các nghiên cứu không tái lập được đều sai. Nó cho thấy một phát hiện ban đầu, kể cả khi vượt qua kiểm định thống kê, vẫn cần được đánh giá thêm về độ ổn định và khả năng xuất hiện lại trong những lần kiểm tra độc lập.

Không tái lập được có đồng nghĩa nghiên cứu ban đầu sai?

Không nhất thiết. Một lần tái lập thất bại có thể xuất phát từ nhiều nguyên nhân ngoài việc kết luận ban đầu không tồn tại.

Khác biệt về đối tượng nghiên cứu, thiết bị, môi trường, quy trình đo hoặc cách triển khai có thể làm thay đổi kết quả. Một hiệu ứng chỉ tồn tại trong một điều kiện nhất định cũng có thể không xuất hiện khi nghiên cứu mới vô tình thay đổi điều kiện đó.

Cỡ mẫu là một yếu tố khác. Nếu hiệu ứng thực tế nhỏ nhưng nghiên cứu tái lập không có đủ số quan sát, độ bất định có thể lớn đến mức không phát hiện được hiệu ứng. Ngược lại, một nghiên cứu ban đầu có mẫu nhỏ cũng dễ ước lượng quá cao quy mô hiệu ứng do dao động ngẫu nhiên.

Vì vậy, đánh giá tái lập cần xem xét đồng thời thiết kế nghiên cứu, độ chính xác của phép đo, cỡ mẫu, khoảng tin cậy, quy mô hiệu ứng và mức độ tương đồng giữa các điều kiện. Chỉ so sánh việc một giá trị p có nhỏ hơn 0,05 hay không thường không đủ để kết luận hai nghiên cứu có thực sự mâu thuẫn.

Vì sao tái lập quan trọng hơn một kết quả có ý nghĩa thống kê đơn lẻ?

Ý nghĩa thống kê trả lời một câu hỏi hẹp: dữ liệu quan sát được có đủ khó xảy ra dưới một mô hình giả định cụ thể hay không. Nó không tự chứng minh rằng hiệu ứng lớn, quan trọng trong thực tế hoặc sẽ xuất hiện lại ở nghiên cứu khác.

Một giá trị p nhỏ vẫn có thể đi cùng với hiệu ứng rất nhỏ, sai lệch đo lường hoặc lựa chọn phân tích có lợi cho một kết quả nhất định. Nếu nhiều giả thuyết, biến số hoặc mô hình được thử nhưng chỉ kết quả thuận lợi được báo cáo, xác suất xuất hiện một phát hiện dương tính ngẫu nhiên cũng tăng.

Tái lập bổ sung một lớp kiểm tra khác: kết luận phải chịu được một lần quan sát mới hoặc một lần thực hiện lại quy trình. Khi bằng chứng đến từ nhiều nghiên cứu độc lập thay vì một kết quả riêng lẻ, mức độ phụ thuộc vào nhiễu và quyết định của từng nghiên cứu giảm xuống.

Do đó, độ tin cậy khoa học không nên được đánh giá bằng một chỉ số duy nhất. Tính tái lập có giá trị nhất khi được xem cùng chất lượng thiết kế, quy mô hiệu ứng, độ bất định, tính minh bạch và tổng thể bằng chứng hiện có.

Những điều kiện nào làm tăng khả năng tái lập?

Mô tả phương pháp đầy đủ là điều kiện nền tảng. Người khác cần biết cách chọn mẫu, đo lường biến, xử lý dữ liệu và thực hiện phân tích. Nếu các bước quan trọng chỉ tồn tại trong kinh nghiệm của nhóm nghiên cứu mà không được ghi lại, rất khó xác định nguyên nhân khi kết quả khác nhau.

Dữ liệu và mã phân tích có thể tiếp cận cũng làm phép kiểm tra trực tiếp hơn khi không có rào cản đạo đức, pháp lý hoặc bảo mật. Người kiểm tra có thể xác định liệu số liệu công bố có được tạo ra đúng từ dữ liệu và quy trình đã mô tả hay không.

Đăng ký trước giả thuyết và kế hoạch phân tích giúp phân biệt rõ phân tích đã dự kiến với phân tích khám phá sau khi quan sát dữ liệu. Cách làm này hạn chế việc vô tình lựa chọn những quyết định phân tích tạo ra kết quả thuận lợi rồi trình bày chúng như giả thuyết được đặt ra từ đầu.

Cỡ mẫu đủ lớn và phép đo có độ tin cậy phù hợp cũng rất quan trọng. Khi sai số ngẫu nhiên quá lớn, ước lượng hiệu ứng dao động mạnh giữa các nghiên cứu ngay cả khi hiện tượng thực sự tồn tại.

Cuối cùng, nhiều lần tái lập độc lập thường cung cấp bằng chứng mạnh hơn một lần duy nhất. Mỗi nghiên cứu diễn ra trong điều kiện khác nhau ở một mức độ nào đó, vì vậy chuỗi kết quả nhất quán giúp xác định phần nào của phát hiện có tính ổn định và phần nào phụ thuộc vào bối cảnh.

Giới hạn của tính tái lập khi đánh giá một kết quả khoa học

Tái lập được không đồng nghĩa với đúng về mặt lý thuyết. Hai nhóm nghiên cứu có thể lặp lại cùng một sai lệch nếu họ sử dụng cùng một phép đo không phản ánh đúng đại lượng cần nghiên cứu hoặc cùng dựa trên một giả định sai.

Một hiện tượng thực cũng không bắt buộc xuất hiện giống nhau ở mọi hoàn cảnh. Trong sinh học, tâm lý học, y học hoặc khoa học xã hội, kết quả thường phụ thuộc vào quần thể, môi trường và tương tác giữa nhiều biến. Việc không tái lập được đôi khi hé lộ một điều kiện giới hạn chưa được nhận biết thay vì bác bỏ hoàn toàn hiện tượng.

Mức độ giống nhau cũng cần được đánh giá bằng quy mô hiệu ứng và độ bất định chứ không chỉ bằng nhãn “thành công” hoặc “thất bại”. Hai nghiên cứu có thể cho ước lượng gần nhau nhưng một nghiên cứu đạt ngưỡng ý nghĩa thống kê còn nghiên cứu kia không đạt do khác cỡ mẫu.

Bởi vậy, tính tái lập là một tiêu chí quan trọng của độ tin cậy nhưng không phải tiêu chí duy nhất. Một kết luận khoa học mạnh thường hình thành từ nhiều lớp bằng chứng phù hợp với nhau.

Tính tái lập trong khoa học có ý nghĩa vì nó đặt kết quả trước một phép kiểm tra vượt ra ngoài nghiên cứu ban đầu. Khi kết luận có thể được tạo lại hoặc xuất hiện nhất quán trong những phép thử độc lập, bằng chứng cho thấy kết quả không chỉ phụ thuộc vào ngẫu nhiên, dữ liệu riêng biệt hay quyết định phân tích của một nhóm nghiên cứu sẽ mạnh hơn.

Ngược lại, việc không tái lập được là tín hiệu cần xem xét lại giả thuyết, phương pháp, cỡ mẫu, điều kiện nghiên cứu và mức độ bất định chứ không tự động chứng minh nghiên cứu ban đầu sai. Vì vậy, độ tin cậy khoa học được đánh giá tốt nhất từ sự hội tụ của tính tái lập, thiết kế nghiên cứu chặt chẽ, phân tích minh bạch và nhiều nguồn bằng chứng độc lập.