Kinh nghiệm và chất lượng của người trả lời điều tra được cải thiện thông qua thông tin phản hồi
Anneli Ström, Thống kê Thụy Điển
1. Giới thiệu
Thông tin phản hồi là cách để thúc đẩy người trả lời điều tra (gọi tắt là người trả lời) tham gia vào các cuộc điều tra. Thông tin phản hồi, thí dụ có thể là kết quả của cuộc khảo sát, được trình bày bằng bảng biểu hoặc đồ thị, hoặc kết quả dựa vào dữ liệu được cung cấp, được sửa lại cho phù hợp với người trả lời. Nó cũng có thể bao hàm những so sánh với dữ liệu từ các cuộc điều tra khác, về cả hai giai đoạn hiện tại lẫn thời kỳ đã qua. Loại thông tin phản hồi này thích hợp nhất là ở các cuộc điều tra kinh doanh và khu vực công, nơi có thể quan tâm đến những so sánh trực tiếp. Trong các cuộc điều tra riêng lẻ, những cơ hội như vậy là rất hiếm. Kinh nghiệm cho thấy thông tin phản hồi mà những người trả lời nhận được theo hướng tích cực.
Hiện nay Thống kê Thụy Điển đang thu thập dữ liệu về giáo dục từ các khu đô thị cả nước. Dữ liệu là một phần của hệ thống giám sát quốc gia, nhằm cung cấp một cái nhìn khái quát về hệ thống trường học và làm cơ sở cho việc theo dõi. đánh giá ở cả cấp quốc gia lẫn địa phương. Để bày tỏ tầm quan trọng của dữ liệu báo cáo có chất lượng tốt, Thống kê Thụy Điển hoạt động theo phương pháp nhằm tăng thêm động lực trong những người trả lời, bằng cách chuyển cho họ một báo cáo phản hồi về các thông tin họ cung cấp
Bài viết này mô tả về cách chế biến thông tin phản hồi của Thống kê Thụy Điển đối với các cuộc điều tra giáo dục trong khu vực công, và cách phát triển của một báo cáo phản hồi. Chúng tôi đã thực hiện một đánh giá về cách lĩnh hội thông tin phản hồi của người nhận ra sao. Kết quả ban đầu cho thấy nó được đánh giá cao và như vậy, chúng tôi nên tiếp tục cung cấp thông tin phản hồi. Đánh giá cũng cho thấy công việc vẫn đang được hoàn thiện, và trong tháng 12 năm 2013, chúng tôi có kế hoạch khởi động một dự án với mục đích cải thiện và mở rộng báo cáo phản hồi hiện tại.
2. Mục đích của thông tin phản hồi
Những mục tiêu mà chúng tôi muốn đạt được thông qua phát triển các báo cáo phản hồi là:
• Để động viên những người trả lời
• Để giảm số trường hợp không trả lời và rút ngắn thời gian sản xuất số liệu .
• Để tăng chất lượng số liệu và giảm số trường hợp liên hệ lại .
Báo cáo phản hồi nhằm mục đích nâng cao nhận thức của người nhận về việc sửa đổi dữ liệu thu thập được trở thành sản phẩm thống kê như thế nào. Các dữ liệu và những tính toán thể hiện trong báo cáo phản hồi là những con số quan trọng, mà sau này sẽ được trình bày trong các số liệu thống kê chính thức. Các báo cáo phản hồi trao cho người nhận khả năng xác minh các số liệu quan trọng được tính toán trước khi xuất bản. Chúng tôi hy vọng rằng điều này sẽ làm cho họ ý thức trách nhiệm và coi trọng ý nghĩa của việc báo cáo dữ liệu hơn .
Các báo cáo phản hồi được gửi đến những người trả lời các cuộc điều tra, thường ở các vị trí như các hiệu trưởng trường học, các nhà quản lý, vv. Báo cáo phản hồi cũng được gửi đến một hoặc nhiều quan chức của chính quyền thành phố, sau kỳ hạn cuối cùng của công việc trả lời điều tra. Các quan chức nhận được một bản tóm tắt của những trường đã báo cáo dữ liệu của mình và cũng là cơ hội để nhắc nhở những cơ sở không báo cáo . Bằng cách này, chúng tôi tin rằng số trường hợp không trả lời điều tra sẽ giảm bớt và thời gian sản xuất được rút ngắn, bởi các chính quyền thành phố, thay chúng ta, nhắc nhở các trường học của mình trả lời các cuộc điều tra. Nếu như nhiều trường học báo cáo dữ liệu của mình, khi các báo cáo phản hồi được phát hành, các quan chức thành phố có nhiều khả năng so sánh những vấn đề liên quan và kiểm tra chất lượng hơn.
Các quan chức thường có kiến thức về tổ chức lại nội bộ và những trường hợp khác mà có thể là những thông tin rất có giá trị đối với chúng tôi. Những thay đổi như vậy có thể gây ra những sai sót mà khó có thể phát hiện trong chỉnh sửa chung của chúng tôi. Tuy nhiên, trong một số trường hợp, số liệu báo cáo trong thực tế lại không đúng và khi đã nhận ra, các quan chức thành phố có thể liên hệ với trường về vấn đề đó. Vì vậy chúng tôi tin rằng báo cáo thông tin phản hồi sẽ góp phần nâng cao chất lượng dữ liệu và Thống kê Thụy Điển giảm bớt trường hợp liên hệ lại.
3. Báo cáo phản hồi hoạt động như thế nào
Trong năm 2008, chúng tôi đã triển khai phiên bản đầu tiên về bản báo cáo phản hồi. Chúng tôi đã tổng hợp một số biến quan trọng thu thập được ở cấp thành phố và trình bày chúng trong một trang web. Kể từ đó, báo cáo phản hồi đã phát triển và hoàn thiện ở một số bước. Phiên bản báo cáo phản hồi hiện tại bao gồm một lượng lớn các độ đo quan trọng về chất lượng, thể hiện ở cả cấp thành phố và lẫn trường học
a. Giải pháp chuyên môn
Thống kê Thụy Điển đã đầu tư vào phát triển các công cụ thu thập dữ liệu chung. Với việc sử dụng cùng giải pháp kỹ thuật mà chúng tôi sử dụng để thu thập dữ liệu dựa vào trang web, nên những đầu tư thực hiện báo cáo thông tin phản hồi này có thể không phát sinh thêm chi phí phát triển,.
Sau khi đăng nhập vào trang web của chúng tôi, người nhận có thể nhìn thấy các bảng dữ liệu tổng hợp từ các các cuộc điều tra khác nhau. Chúng tôi yêu cầu người nhận kiểm tra tính hợp lệ và hợp lý của các số liệu trình bày. Nếu cần thiết, họ có thể quay lại từng cuộc điều tra và gửi lại dữ liệu mới hoặc dữ liệu đã sửa chữa cho chúng tôi. Chúng tôi cập nhật các báo cáo phản hồi theo các bản trả lời tổng hợp, ít nhất mỗi ngày một lần để đảm bảo cho các quan chức có thể thấy dữ liệu đã được sửa chữa. Thay đổi trực tiếp trong các báo cáo phản hồi là điều không thể.
b. Thông tin trong báo cáo phản hồi
Phần đầu của báo cáo phản hồi, chứa đựng các thông tin về số lượng học sinh theo học các trường, đội ngũ nhân viên và giáo viên được công bố trong học kỳ mùa thu. Phần thứ hai có chứa các thông tin, chẳng hạn như số lượng học sinh trong các kỳ kiểm tra quốc gia, và số lượng học sinh đạt điểm, được công bố sau học kỳ mùa xuân. Các dữ liệu được trình bày một cách toàn diện, dễ hiểu với thông tin từ các cuộc điều tra khác nhau. Người nhận có thể so sánh số lượng học sinh học tại một trường cụ thể trong học kỳ mùa thu, với bao nhiêu lớp đã được báo cáo sau khi học kỳ mùa xuân
c. Ai sẽ nhận các báo cáo phản hồi ?
Bằng cách đăng nhập vào mẫu trên trang web, các chính quyền đô thị có thể đăng ký tên các quan chức muốn tham gia nhận báo cáo phản hồi. Từng học kỳ, các chính quyền đô thị lại được nhắc nhở việc cập nhật thông tin liên hệ của mình, và có cơ hội để thay đổi thông tin đó, loại bỏ hoặc thêm những người trong danh sách nhận báo cáo phản hồi của mình .Người nhận được chính quyền đô thị lựa chọn sẽ được tiếp cận với các trang web và cơ hội để đánh giá tính hợp lý của dữ liệu.
4. Đánh giá
Trong triển khai báo cáo phản hồi, Thống kê Thụy Điển muốn kiểm tra xem liệu báo cáo phản hồi có hoạt động như dự định không. Chúng tôi muốn biết nó có hữu ích cho người nhận không và chúng tôi cần phải thay đổi theo hướng nào hay cải tiến dịch vụ nào. Trong tháng 12 năm 2012, một phần việc của việc nghiên cứu này, chúng tôi gửi thư điện tử cho tất cả các chính quyền đô thị một mẫu đánh giá. Một số đô thị có nhiều hơn một người giao tiếp, tất cả các cơ sở này có cơ hội để bình luận về báo cáo phản hồi.
Những người nhận báo cáo phản hồi nghĩ gì?
Trong tổng số 290 thành phố, 87 quan chức từ 79 thành phố khác nhau đã trả lời: (a) 70 trong số 87 người được hỏi trả lời rằng họ đã xem các báo cáo phản hồi trước khi họ nhận mẫu đánh giá, và nghĩ rằng việc báo cáo là hữu ích; (b) 36 trong số này không có đề xuất về phương pháp có khả năng phát triển báo cáo phản hồi; (c) 24 người trả lời đóng góp bằng các đề xuất cải tiến. Một số trong họ cũng bày tỏ là để có được cơ hội để chia sẻ quan điểm của mình là việc làm tích cực; (d) 6 người được hỏi không xem các báo cáo phản hồi .
Kết quả đánh giá cho thấy rằng báo cáo phản hồi được đánh giá cao và chúng tôi cần tiếp tục cung cấp nó .
Chúng tôi nhận được rất nhiều phản hồi tích cực từ người trả lời. Họ nghĩ rằng kiểm tra tính hợp lệ ở các số liệu báo cáo là dễ dàng, và cũng có thể sử dụng các bản tóm tắt đó trong các cuộc thảo luận với các chính trị gia và các quan chức. Bản tóm tắt cho họ một cái nhìn khái quát tốt về tất cả các trường học trong khu đô thị và phát hiện ngay ra lỗi để sửa chữa. Một số người được hỏi phát biểu rằng các báo cáo phản hồi đến ngay sau khi họ báo cáo dữ liệu là việc làm tích cực.
Một số ví dụ về những câu trả lời chúng tôi nhận được:
• ” Thật tốt khi chúng tôi nhận được báo cáo phản hồi bởi nó có chứa thông tin mà luôn được chúng tôi yêu cầu”.
• ” Chúng tôi đã xem xét và làm việc thông qua các báo cáo phản hồi, tuyệt vời! Chúng tôi có thể dễ dàng kiểm tra tính đúng đắn dựa trên số liệu báo cáo và chúng tôi phát hiện ra ngay những điều cần được sửa chữa “
Đánh giá cũng cho thấy là một số vấn đề vẫn còn phải được hoàn thiện. Nhiều người trong số được hỏi mong muốn thông tin chi tiết hơn, bao gồm cả thông tin liên hệ đến với các cuộc điều tra khác nhau. Chúng tôi cũng nhận được yêu cầu thêm cả những biện pháp để kiểm soát chất lượng. Ngoài ra, những kinh nghiệm điều tra của Thống kê Thụy Điển về khu vực công được người trả lời đặc biệt đánh giá cao về thông tin phản hồi ở chỗ dữ liệu riêng của họ được đem so sánh với giá trị tham chiếu, chẳng hạn như trung bình toàn quốc, hoặc trung bình thành phố có cùng quy mô .
5. Các báo cáo phản hồi trong tương lai
Thống kê Thụy Điển sẽ phát triển báo cáo thông tin phản hồi để phù hợp hơn với nhu cầu của người nhận, hấp dẫn và dễ hiểu hơn, nhằm thực hiện tốt hơn mục đích của nó. Chúng tôi đã quyết định khởi đầu một dự án về vấn đề này, bắt đầu bằng việc tiếp tục định hướng về mặt chất lượng. Với những hiểu biết chúng tôi có được từ việc đánh giá, chúng tôi sẽ cố gắng làm rõ các nhu cầu phát triển của báo cáo phản hồi
Dự án được xác định là nhằm cải tiến và mở rộng báo cáo phản hồi hiện có. Trong tình hình hiện nay, chỉ có quan chức thành phố có cơ hội nhận được các báo cáo phản hồi đối với các trường công lập. Báo cáo vẫn chưa được chỉnh sửa lại cho phù hợp với các trường ngoài công lập. Những trường này thường có số lượng người không báo cáo cao hơn so với các trường công lập . Các báo cáo phản hồi hy vọng sẽ khuyến khích các trường ngoài công lập báo cáo kịp thời dữ liệu có chất lượng cao. Do vậy, chúng tôi có trách nhiệm nghiên cứu về khả năng gửi báo cáo phản hồi cho cả những trường ngoài công lập hay không. Những ảnh hưởng có thể đối với quá trình thu thập dữ liệu sẽ được đánh giá trong một thử nghiệm được gắn vào quá trình thu thập dữ liệu của một cuộc khảo sát hiện nay. Hơn nữa, chúng tôi muốn bổ sung thêm các tính toán và so sánh thú vị để cho báo cáo phản hồi thậm chí còn hấp dẫn và hữu ích hơn cho người nhận. Chúng tôi dự tính đến những kết quả tổng hợp được kết nối với một giá trị tham chiếu, chẳng hạn như trung bình toàn quốc, hoặc mức trung bình của các thành phố khác với cùng quy mô. Nếu dự án này thành công, bước tiếp theo sẽ đánh giá xem liệu phương pháp này có thể được sử dụng rông hơn trong cả hai cuộc điều tra khu vực kinh doanh và khu vực công.
TMH,
Nguồn: Improved respondent experinece and quality through feedback
Working Paper Prepared by Anneli Ström, Statistics Sweden
Seminar on Statistical Data Collection
(Geneva, Switzerland, 25-27 September 2013),Topic (iii): Improving the respondent experience