Phân biệt tương quan và nguyên nhân khi chẩn đoán

Vì vậy, phân biệt tương quan và nguyên nhân không dựa vào việc mối liên hệ trông mạnh đến đâu. Câu hỏi quan trọng hơn là: nếu tác động vào yếu tố được cho là nguyên nhân, kết quả có thay đổi theo dự đoán hay không, và các cách giải thích cạnh tranh đã được loại trừ đến mức nào.

Tương quan là tín hiệu để điều tra, không phải kết luận về nguyên nhân

Một tương quan tồn tại khi hai đại lượng có xu hướng thay đổi cùng nhau. Khi A tăng và B cũng thường tăng, hoặc A tăng trong khi B thường giảm, dữ liệu cho thấy một mối liên hệ. Tuy nhiên, dữ liệu quan sát như vậy chưa xác định được cơ chế tạo ra mối liên hệ.

Giả sử một hệ thống bắt đầu phát sinh nhiều lỗi hơn sau khi lượng truy cập tăng. Hai hiện tượng có thể tương quan, nhưng ít nhất bốn cách giải thích vẫn còn mở:

·         Lượng truy cập tăng trực tiếp làm hệ thống quá tải và gây lỗi

·         Một thay đổi cấu hình vừa được triển khai đồng thời làm tăng tải và tăng lỗi

·         Lỗi khiến người dùng phải thử lại nhiều lần, làm lượng request tăng

·         Cả hai hiện tượng cùng tăng vào một khung giờ đặc biệt nhưng không có quan hệ nhân quả trực tiếp

Điểm khác biệt nằm ở chỗ dữ liệu tương quan chưa chỉ ra mô hình nào trong số đó đúng.

Tương quan vì thế có giá trị như một tín hiệu phát hiện giả thuyết. Nó giúp xác định nơi cần điều tra, nhưng không tự cung cấp đủ bằng chứng để kết thúc quá trình chẩn đoán.

Một nguyên nhân phải xảy ra trước kết quả và tạo được cơ chế hợp lý

Điều kiện đầu tiên để A có thể là nguyên nhân của B là A phải xảy ra trước B theo trình tự thời gian có ý nghĩa.

Nếu thay đổi của B đã bắt đầu trước khi A xuất hiện, A không thể giải thích phần thay đổi đó. Việc kiểm tra timeline thường loại được nhiều kết luận sai mà một biểu đồ tương quan đơn thuần không thể phát hiện.

Tuy nhiên, xảy ra trước vẫn chưa đủ. Một sự kiện có thể diễn ra trước sự cố nhưng hoàn toàn không liên quan đến cơ chế gây sự cố.

Chẩn đoán cần thêm một chuỗi giải thích:

A thay đổi → tác động lên cơ chế X → X làm B thay đổi

Ví dụ, nhận định “tải cao gây tăng thời gian phản hồi” mạnh hơn khi có thể chỉ ra chuỗi trung gian: số yêu cầu đồng thời tăng, tài nguyên xử lý tiến gần giới hạn, hàng đợi dài hơn và thời gian phản hồi tăng theo.

Cơ chế không tự chứng minh quan hệ nhân quả, nhưng nó làm giả thuyết có khả năng kiểm chứng. Nếu cơ chế dự đoán một dấu hiệu trung gian mà dấu hiệu đó hoàn toàn không xuất hiện, giả thuyết nguyên nhân phải được xem xét lại.

Phải chủ động tìm nguyên nhân chung và quan hệ nhân quả ngược

Hai nguồn nhầm lẫn lớn nhất là biến gây nhiễu và nhân quả ngược.

Biến gây nhiễu xuất hiện khi một yếu tố C tác động lên cả A và B. Khi đó A và B có thể tương quan rất rõ dù A không gây ra B.

Có thể biểu diễn đơn giản:

C → A

C → B

Nếu chỉ quan sát A và B, người phân tích rất dễ suy ra nhầm:

A → B

Ví dụ, một nhóm khách hàng sử dụng một tính năng thường xuyên có thể có tỷ lệ duy trì cao hơn. Điều đó chưa chứng minh tính năng làm tăng khả năng duy trì. Nhóm người dùng vốn có mức độ gắn bó cao có thể vừa chủ động sử dụng nhiều tính năng hơn, vừa ít rời bỏ hơn. Mức độ gắn bó ban đầu trở thành một giải thích cạnh tranh.

Nhân quả ngược lại xảy ra khi hướng thực tế là B → A nhưng người quan sát suy ra A → B. Chẳng hạn, lượng thao tác xử lý sự cố tăng cùng với số lỗi không có nghĩa thao tác xử lý gây ra lỗi; rất có thể số lỗi tăng khiến đội vận hành phải thực hiện nhiều thao tác hơn.

Khi gặp một tương quan đáng chú ý, câu hỏi hữu ích không phải chỉ là “A có thể gây B không?” mà còn là:

·         Có yếu tố C nào đủ sức tạo ra cả A lẫn B không

·         B có thể là nguyên nhân làm A thay đổi không

·         Việc lựa chọn mẫu hoặc cách đo có thể tạo ra tương quan giả không

·         Có thay đổi nào khác diễn ra cùng thời điểm không

Một giả thuyết nguyên nhân trở nên đáng tin hơn khi nó tiếp tục đứng vững sau những phép kiểm tra này.

Bằng chứng mạnh nhất đến từ việc thay đổi nguyên nhân và quan sát kết quả

Sự khác biệt quan trọng giữa quan sát và kiểm chứng nằm ở can thiệp.

Quan sát hỏi:

“Những trường hợp có A có thường đi kèm B không?”

Kiểm chứng nhân quả hỏi:

“Nếu chủ động thay đổi A trong khi kiểm soát hợp lý các yếu tố khác, B có thay đổi không?”

Đó là lý do thử nghiệm có nhóm so sánh thường cung cấp bằng chứng nhân quả mạnh hơn một tương quan quan sát đơn thuần.

Nếu có thể phân bổ ngẫu nhiên các đơn vị vào nhóm có và không có can thiệp, quá trình ngẫu nhiên hóa giúp giảm khả năng hai nhóm khác nhau một cách có hệ thống ngay từ đầu. Khi đó, chênh lệch kết quả sau can thiệp có cơ sở mạnh hơn để quy cho yếu tố đang được kiểm chứng.

Trong chẩn đoán thực tế, không phải lúc nào cũng có thể tiến hành một thử nghiệm hoàn chỉnh. Có thể sử dụng một phép kiểm chứng nhỏ hơn nhưng cùng logic: thay đổi một yếu tố, giữ các điều kiện khác ổn định nhất có thể và kiểm tra xem kết quả có phản ứng theo dự đoán hay không.

Ví dụ, nếu nghi một cấu hình mới làm tăng lỗi, việc hoàn nguyên cấu hình trên một phạm vi kiểm soát rồi theo dõi lỗi có giá trị chẩn đoán cao hơn việc chỉ chỉ ra rằng thời điểm triển khai và thời điểm lỗi tăng gần nhau.

Điều cần tránh là phép kiểm tra trong đó nhiều yếu tố cùng thay đổi. Nếu vừa đổi cấu hình, vừa tăng tài nguyên và vừa thay dữ liệu đầu vào rồi lỗi giảm, kết quả không xác định được yếu tố nào thực sự tạo ra thay đổi.

Không có thử nghiệm thì cần xây dựng bằng chứng từ nhiều phép kiểm tra độc lập

Nhiều tình huống không cho phép can thiệp trực tiếp vì chi phí, đạo đức hoặc giới hạn vận hành. Khi đó không nên chuyển từ “không thể thử nghiệm” sang “tương quan đủ để kết luận”.

Thay vào đó, bằng chứng cần được tích lũy từ nhiều hướng.

Kiểm tra thứ tự thời gian

Xác định chính xác khi nào nguyên nhân nghi ngờ bắt đầu thay đổi và khi nào kết quả bắt đầu phản ứng. Timeline càng chi tiết thì càng dễ phân biệt nguyên nhân tiềm năng với sự kiện chỉ tình cờ xảy ra gần nhau.

Kiểm tra quan hệ liều lượng hoặc cường độ

Nếu cơ chế dự đoán rằng mức A càng lớn thì tác động lên B càng mạnh, dữ liệu nên được kiểm tra theo dự đoán đó.

Sự phù hợp làm giả thuyết mạnh hơn. Sự không phù hợp không phải lúc nào cũng bác bỏ hoàn toàn giả thuyết vì quan hệ nhân quả có thể có ngưỡng, độ trễ hoặc phi tuyến, nhưng nó buộc người chẩn đoán phải giải thích phần bất nhất.

Kiểm tra tính nhất quán trong các nhóm

Nếu A thực sự gây B thông qua một cơ chế chung, quan hệ nên xuất hiện ở những nhóm mà cơ chế đó có thể hoạt động. Nếu tương quan chỉ tồn tại trong một phân nhóm đặc biệt, cần tìm yếu tố khác biệt của nhóm đó trước khi khái quát hóa.

Kiểm tra các dự đoán trung gian

Một giả thuyết nhân quả tốt thường tạo ra nhiều dự đoán hơn chỉ “A đi cùng B”.

Nếu giả thuyết là A gây B thông qua X, X phải có những dấu hiệu có thể quan sát được. Việc kiểm tra những dấu hiệu trung gian giúp phân biệt hai giả thuyết có cùng kết quả cuối nhưng cơ chế khác nhau.

Kiểm tra giải thích cạnh tranh

Thay vì chỉ tìm bằng chứng ủng hộ giả thuyết ban đầu, cần cố tìm dữ liệu có khả năng bác bỏ nó.

Một giả thuyết vượt qua nhiều phép kiểm tra đối nghịch có giá trị hơn một giả thuyết chỉ phù hợp với một biểu đồ tương quan duy nhất.

So sánh trước và sau vẫn có thể tạo kết luận nhân quả sai

Một lỗi phổ biến trong chẩn đoán là quan sát:

Trước thay đổi: B xấu

Thực hiện A

Sau thay đổi: B tốt

rồi kết luận A đã gây ra cải thiện.

Chuỗi thời gian này phù hợp với quan hệ nhân quả nhưng chưa đủ chứng minh, vì trong khoảng thời gian đó có thể xảy ra nhiều thay đổi khác.

Kết quả có thể chịu ảnh hưởng của:

·         Xu hướng đã bắt đầu từ trước khi can thiệp

·         Tính mùa vụ hoặc chu kỳ

·         Một thay đổi khác diễn ra cùng lúc

·         Khác biệt trong cách thu thập hoặc định nghĩa dữ liệu

·         Việc đối tượng cực đoan tự quay gần mức bình thường ở lần đo sau

·         Thay đổi thành phần của nhóm đang được quan sát

Do đó, phép so sánh có giá trị hơn khi có một nhóm hoặc giai đoạn đối chứng phù hợp. Mục tiêu là ước lượng điều gì có khả năng xảy ra với B nếu A không được thực hiện.

Phần không thể quan sát trực tiếp này chính là khó khăn trung tâm của suy luận nhân quả: một đối tượng tại cùng một thời điểm không thể vừa trải qua can thiệp vừa đồng thời không trải qua can thiệp. Thiết kế kiểm chứng tốt cố gắng tạo ra một đối chứng đủ tương đồng để đại diện cho kịch bản còn lại.

Độ mạnh của tương quan không quyết định độ mạnh của bằng chứng nhân quả

Một tương quan rất cao vẫn có thể do nguyên nhân chung tạo ra. Ngược lại, một tác động nhân quả thực sự có thể tạo ra tương quan quan sát khá yếu khi kết quả còn chịu ảnh hưởng của nhiều yếu tố khác.

Vì vậy, hệ số tương quan, mức chênh lệch lớn hay một biểu đồ rất “đẹp” không thay thế được thiết kế kiểm chứng.

Tương tự, ý nghĩa thống kê không trả lời trực tiếp câu hỏi nhân quả. Một mối liên hệ khó giải thích bằng dao động ngẫu nhiên vẫn có thể là hệ quả của gây nhiễu, sai lệch lựa chọn hoặc nhân quả ngược. Kiểm định thống kê đánh giá một phần của bất định trong dữ liệu; nó không tự xác định hướng của cơ chế nhân quả.

Khi mục tiêu là chẩn đoán, chất lượng của bằng chứng phụ thuộc nhiều vào cách dữ liệu được tạo ra và cách các giả thuyết cạnh tranh được kiểm soát hơn là vào một chỉ số tương quan riêng lẻ.

Có thể dùng một chuỗi kiểm chứng để tránh kết luận nguyên nhân quá sớm

Trước khi gọi A là nguyên nhân của B, có thể lần lượt kiểm tra sáu câu hỏi.

1.    A có thực sự liên hệ với B không? Xác nhận rằng tương quan không phải lỗi đo lường, lỗi truy vấn hoặc một mẫu dữ liệu quá nhỏ và bất thường

2.    A có xảy ra trước B không? Nếu thứ tự thời gian không phù hợp, giả thuyết nhân quả cần bị loại hoặc đảo chiều

3.    Có cơ chế nào giải thích A tác động lên B không? Cơ chế nên tạo ra những dự đoán có thể kiểm tra được

4.    Có nguyên nhân chung hoặc giải thích cạnh tranh nào không? Tìm biến gây nhiễu, thay đổi đồng thời, lựa chọn mẫu và nhân quả ngược

5.    Can thiệp vào A có làm B thay đổi theo dự đoán không? Ưu tiên thử nghiệm có đối chứng; nếu không thể, dùng thiết kế quan sát có khả năng tạo đối chứng hợp lý

6.    Kết quả có lặp lại dưới phép kiểm tra khác không? Bằng chứng hội tụ từ nhiều phép kiểm tra độc lập đáng tin hơn một phát hiện đơn lẻ

Chuỗi này không biến mọi bài toán thành một bằng chứng tuyệt đối. Nó có chức năng quan trọng hơn: buộc quá trình chẩn đoán chuyển từ “tôi thấy hai thứ đi cùng nhau” sang “giả thuyết này đã vượt qua những kiểm tra nào và còn những giải thích nào chưa loại trừ”.

Mức kết luận phải tương xứng với mức bằng chứng

Không phải mọi phân tích đều đạt đến mức có thể khẳng định nguyên nhân. Khi bằng chứng chỉ cho thấy tương quan, cách diễn đạt chính xác là “A liên quan đến B”, “A xuất hiện cùng B” hoặc “A là một giả thuyết nguyên nhân cần kiểm chứng”.

Khi đã có thứ tự thời gian phù hợp, cơ chế hợp lý và một số giải thích cạnh tranh được loại trừ nhưng chưa có can thiệp đủ mạnh, có thể nói bằng chứng ủng hộ một quan hệ nhân quả thay vì coi nó đã được xác lập chắc chắn.

Mức khẳng định mạnh hơn cần bằng chứng mạnh hơn, đặc biệt khi quyết định dựa trên kết luận đó có chi phí hoặc rủi ro lớn.

Trong thực tế chẩn đoán, mục tiêu không phải lúc nào cũng là đạt sự chắc chắn tuyệt đối. Mục tiêu là giảm đủ các cách giải thích cạnh tranh để quyết định tiếp theo có cơ sở, đồng thời giữ rõ phần bất định còn lại.

Phân biệt tương quan và nguyên nhân chủ yếu là phân biệt giữa một mối liên hệ được quan sát và một cơ chế đã vượt qua kiểm chứng. Tương quan có thể giúp phát hiện nơi cần điều tra, nhưng chỉ nên chuyển thành kết luận nhân quả khi thứ tự thời gian phù hợp, cơ chế có thể giải thích được, các nguyên nhân chung và quan hệ ngược đã được xem xét, và kết quả được hỗ trợ bởi can thiệp hoặc nhiều phép kiểm tra độc lập. Cách chẩn đoán đáng tin cậy nhất vì thế không phải tìm tương quan mạnh nhất, mà là chủ động tìm những bằng chứng có thể làm giả thuyết nguyên nhân thất bại.