Một khảo sát chỉ cho biết ý kiến của chính những người đã trả lời nó. Nếu nhóm trả lời khác với nhóm bạn muốn hiểu, ví dụ chỉ người rảnh, chỉ người thích sản phẩm, chỉ người dùng ứng dụng, thì kết quả lệch, và hỏi thêm thật nhiều người cùng kiểu không sửa được chỗ lệch đó. Câu hỏi đầu tiên khi đọc khảo sát vì thế không phải "bao nhiêu phần trăm" mà là "ai đã được hỏi, và ai không có cơ hội trả lời".
Bài này đi qua một tình huống khảo sát giờ làm ở khu công nghiệp, năm kiểu mẫu lệch hay gặp, chuyện tỷ lệ trả lời thấp, vì sao mẫu lớn không cứu được mẫu lệch, và cách tự làm một khảo sát nhỏ cho nhóm lớp, chung cư hay phòng ban mà ít bị lệch. Ví dụ đều là giả định.
Mẫu lệch là gì, nói bằng một bữa cơm
Giả định bạn muốn biết cả nhà thích ăn món gì cho bữa giỗ, nhưng chỉ hỏi những người đang ngồi trong bếp lúc đó: mẹ và hai chị đang phụ nấu. Ba người đều thích món canh chua, nên bạn kết luận "cả nhà thích canh chua". Các anh ngoài sân, bọn trẻ trên lầu và ông nội đang ngủ trưa không ai được hỏi. Kết luận đó không sai về ba người trong bếp, chỉ sai khi mở rộng ra cả nhà.
Đó là mẫu lệch: nhóm được hỏi khác nhóm mà kết luận muốn nói tới, theo một cách có hệ thống. Chữ "có hệ thống" quan trọng. Người trong bếp không được chọn ngẫu nhiên; họ ở đó vì họ thích nấu, và người thích nấu có thể có khẩu vị riêng. Mọi khảo sát chỉ hỏi ở một chỗ, một kênh, một khung giờ đều mang nguy cơ này.
Một mẫu đại diện là mẫu mà mỗi người trong nhóm cần hiểu đều có cơ hội được hỏi như nhau, hoặc ít nhất các phần của nhóm có mặt theo tỷ lệ gần giống thực tế. Trong đời thường bạn hiếm khi làm được điều đó hoàn hảo, nhưng chỉ cần hỏi "ai không có ở đây" là đã tránh được những kết luận lệch rõ nhất.
Tình huống: phiếu khảo sát giờ làm ở khu công nghiệp Bắc Ninh
Giả định phòng nhân sự của một nhà máy ở Bắc Ninh muốn biết người lao động có muốn đổi ca từ ba ca tám tiếng sang hai ca mười hai tiếng, nghỉ nhiều ngày hơn. Phiếu được gửi qua ứng dụng nội bộ trong giờ hành chính, ai trả lời trong ba ngày thì được tính. Kết quả: 75% đồng ý đổi ca, trên khoảng 400 người trả lời.
Chị tổ trưởng ca đêm đọc báo cáo và hỏi trong cuộc họp: "Ca đêm của em gần như không ai mở ứng dụng giờ hành chính, vì giờ đó các bạn đang ngủ. Còn công nhân lớn tuổi ở tổ đóng gói phần nhiều không cài ứng dụng. Mấy nhóm đó ý kiến có thể khác." Phòng nhân sự kiểm lại thì đúng: người trả lời chủ yếu là nhân viên văn phòng và kỹ thuật viên ca ngày, những người ít bị ảnh hưởng nhất bởi chuyện đổi ca.
Nhà máy làm lại phiếu giấy, phát tận tay ở đầu mỗi ca, cho đủ thời gian điền. Lần này tỷ lệ đồng ý ở ca đêm thấp hơn hẳn, và nhóm lớn tuổi lo về sức khoẻ khi đứng máy mười hai tiếng. Quyết định cuối cùng khác với điều báo cáo đầu tiên gợi ý.
Con số 400 người nghe đã nhiều. Nhưng 400 người cùng một kiểu không nói được gì về những người không có mặt, và trong chuyện đổi ca, người không có mặt lại chính là người chịu tác động nhiều nhất.
Năm kiểu mẫu lệch hay gặp
Các kiểu dưới đây thường đi cùng nhau. Cột cuối là câu hỏi giúp bạn lộ ra nhóm bị thiếu.
| Kiểu lệch | Ví dụ giả định | Ai bị thiếu | Hỏi lại |
|---|---|---|---|
| Tự chọn tham gia | Bình chọn trên trang mạng xã hội của một quán | Người không theo dõi trang, người không quan tâm | "Ai thấy được phiếu này?" |
| Chỉ hỏi người còn lại | Khảo sát học viên đang học về chất lượng khoá | Người đã bỏ khoá vì không hài lòng | "Người đã nghỉ có được hỏi không?" |
| Kênh tiện cho người hỏi | Phiếu qua ứng dụng, qua thư điện tử | Người không dùng kênh đó | "Phiếu gửi bằng cách nào?" |
| Khung giờ, địa điểm | Phỏng vấn ở chợ lúc chín giờ sáng ngày thường | Người đi làm giờ hành chính | "Hỏi lúc nào, ở đâu?" |
| Nhóm có cảm xúc mạnh | Hộp góp ý ở quầy dịch vụ | Người thấy bình thường, không buồn viết | "Người không có ý kiến đặc biệt thì sao?" |
Kiểu cuối hay bị bỏ qua: người rất hài lòng và người rất bực bội là hai nhóm hay lên tiếng nhất, nên hộp góp ý và mục bình luận thường cho bức tranh cực đoan ở cả hai đầu, còn phần đông ở giữa im lặng.
Tỷ lệ trả lời thấp: im lặng cũng là thông tin
Khi phiếu được gửi cho 1.000 người mà chỉ 80 người trả lời, câu hỏi cần đặt ra là 80 người đó khác 920 người còn lại ở điểm nào. Nếu việc trả lời hay không là hoàn toàn ngẫu nhiên, 80 người vẫn có thể đại diện khá tốt. Nhưng hiếm khi ngẫu nhiên: người trả lời thường là người có thời gian, có cảm xúc mạnh với chủ đề, hoặc có quan hệ tốt với bên hỏi.
Giả định ban quản lý một chung cư ở Hà Nội gửi phiếu hỏi cư dân có đồng ý tăng phí gửi xe để lắp thêm camera không. Người trả lời phần lớn là người đã từng bị mất đồ, rất ủng hộ camera. Người thấy phí hiện tại đã cao, bận rộn hoặc ngại va chạm thì không trả lời. Kết quả "80% đồng ý" là đúng với 80 người trả lời, nhưng đem ra quyết định cho cả toà nhà thì dễ gặp phản đối khi thu phí.
Hai cách xử lý thực tế: ghi tỷ lệ trả lời ngay cạnh kết quả ("80 trên 1.000 hộ trả lời"), và đi hỏi thêm một nhóm nhỏ những người chưa trả lời bằng cách khác, như gõ cửa hoặc hỏi ở sảnh. Nếu nhóm hỏi thêm có ý kiến khác hẳn, bạn biết kết quả ban đầu đang lệch.
Mẫu lớn không chữa được mẫu lệch
Hỏi thêm nhiều người cùng kiểu chỉ làm con số lệch thêm chắc chắn. Nếu bạn chỉ hỏi người trong bếp, hỏi thêm mười người trong bếp nữa vẫn không cho biết bọn trẻ trên lầu nghĩ gì. Mẫu lớn giảm sai số ngẫu nhiên, không giảm sai số do chọn sai người.
Con số lớn tạo cảm giác tin cậy giả. "Hơn 10.000 người đã bình chọn" nghe áp đảo, nhưng nếu tất cả là người theo dõi một trang, con số đó chỉ cho biết người theo dõi trang ấy nghĩ gì. Một mẫu vài trăm người chọn cẩn thận thường có ích hơn mười nghìn lượt bình chọn tự phát.
Một người có thể trả lời nhiều lần. Bình chọn trực tuyến không kiểm danh tính dễ bị bấm nhiều lần, thậm chí bị kêu gọi bấm hộ. Lúc đó số lượt không còn là số người.
Câu hỏi đúng là "mẫu được chọn thế nào", không phải "mẫu bao nhiêu người". Khi ai đó khoe cỡ mẫu, hãy hỏi tiếp cách chọn mẫu. Câu trả lời cho câu thứ hai quan trọng hơn câu thứ nhất. Nếu người trình bày chỉ trả lời được cỡ mẫu mà không nói được cách chọn, hãy coi con số là ý kiến của một nhóm chưa rõ danh tính.
Tự kiểm một khảo sát trong năm câu hỏi
Dùng được khi đọc tin "khảo sát cho thấy", khi nhận báo cáo nội bộ, hoặc trước khi chia sẻ một kết quả bình chọn.
- Kết luận đang nói về nhóm nào? Ghi ra bằng lời: "người lao động nhà máy", "cư dân toà nhà", "phụ huynh cả trường".
- Ai thật sự đã trả lời? Kênh nào, giờ nào, ai tự nguyện?
- Có bao nhiêu người được mời và bao nhiêu người trả lời?
- Nhóm nào có thể bị thiếu, và họ có lý do gì để nghĩ khác?
- Nếu nhóm bị thiếu nghĩ ngược lại, kết luận còn đứng được không?
Ví dụ với phiếu đổi ca ở nhà máy: kết luận nói về toàn bộ người lao động; người trả lời là nhân viên ca ngày dùng ứng dụng; không rõ bao nhiêu người được mời; ca đêm và công nhân lớn tuổi bị thiếu, và họ là những người chịu tác động nặng nhất. Chỉ đến câu thứ tư là đã thấy kết quả 75% chưa đủ để quyết.
Câu thứ năm là phép thử mạnh nhất. Nếu kết luận chỉ đúng khi giả định nhóm vắng mặt nghĩ giống nhóm đã trả lời, bạn nên nói kết luận đó một cách khiêm tốn hơn, hoặc đi hỏi thêm trước khi quyết.
Khi chính bạn làm một khảo sát nhỏ
Hội phụ huynh muốn hỏi giờ họp, tổ dân phố muốn hỏi ngày dọn vệ sinh, phòng ban muốn hỏi chỗ đi dã ngoại: những khảo sát nhỏ này rất hay lệch vì người hỏi dùng kênh tiện nhất cho mình. Vài điều chỉnh đơn giản giúp giảm lệch đáng kể.
Gửi qua ít nhất hai kênh, ví dụ nhóm chat và một tờ phiếu giấy hoặc hỏi trực tiếp, để người không dùng kênh thứ nhất vẫn có cơ hội. Để thời gian trả lời đủ dài, qua cả ngày thường lẫn cuối tuần. Nhắc riêng những nhóm hay im lặng, như phụ huynh làm ca, người lớn tuổi, nhân viên mới. Khi báo kết quả, ghi rõ "35 trên 42 phụ huynh trả lời" thay vì chỉ ghi phần trăm, và nói nhóm nào còn thiếu.
Cái không cần làm: không cần công thức chọn mẫu phức tạp, không cần phần mềm. Với nhóm vài chục người, cố gắng hỏi được gần hết mọi người còn tốt hơn mọi phương pháp chọn mẫu. Chọn mẫu chỉ cần thiết khi nhóm quá lớn để hỏi hết. Khi đó, bốc thăm ngẫu nhiên từ danh sách đầy đủ vẫn là cách đơn giản và công bằng nhất.
Câu hỏi thường gặp
Mẫu lệch trong khảo sát là gì?
Mẫu lệch là khi nhóm người được hỏi khác với nhóm mà kết luận muốn nói tới theo một cách có hệ thống, ví dụ chỉ hỏi người dùng ứng dụng rồi kết luận cho mọi người lao động. Kết quả khi đó phản ánh nhóm đã trả lời, không phải cả nhóm.
Khảo sát hỏi càng nhiều người thì càng chính xác phải không?
Chỉ đúng khi người được hỏi được chọn đúng cách. Mẫu lớn giảm sai số ngẫu nhiên nhưng không sửa được việc chọn sai người. Mười nghìn lượt bình chọn tự phát có thể kém tin cậy hơn vài trăm người được chọn cẩn thận.
Bình chọn trên mạng xã hội có đáng tin không?
Nó cho biết ý kiến của những người thấy bài và muốn bấm, thường là người theo dõi trang và người có cảm xúc mạnh. Nó hữu ích để đo sự quan tâm của nhóm đó, nhưng không nên dùng để nói về cả cộng đồng.
Tỷ lệ trả lời thấp thì kết quả còn dùng được không?
Dùng được nếu bạn có lý do tin người trả lời không khác người im lặng. Cách kiểm là hỏi thêm một nhóm nhỏ người chưa trả lời bằng kênh khác; nếu họ nghĩ giống, kết quả ban đầu khá ổn.
Làm khảo sát trong nhóm lớp hay chung cư thế nào cho ít lệch?
Gửi qua hai kênh trở lên, để thời gian đủ dài, nhắc riêng những người hay im lặng, và báo kết quả kèm số người trả lời trên tổng số. Với nhóm nhỏ, cố hỏi gần hết mọi người là cách tốt nhất.