چند سؤال جدی درباره نظرسنجی‌های متا

براساس اطلاعاتی که در سایت متا منتشر شده، این مرکز در حال حاضر یک پانل حدود ۲۰ هزار نفری دارد. سازوکار فعالیت آن نیز به این‌گونه است که از اعضای این پانل دعوت می‌شود در یک بازه زمانی مشخص به صفحه یا سایت مرکز مراجعه کنند و به سؤالات پاسخ دهند و متناسب با میزان مشارکت، مشوق‌هایی نیز برای آنها در نظر گرفته می‌شود. 

اینجا یک نکته روش‌شناختی بسیار مهم وجود دارد: پانل بودن یک نمونه، به‌خودی‌خود به معنای نماینده بودن آن برای کل جامعه نیست. در مطالعات پانل، یک گروه ثابت از افراد در چند مقطع زمانی بررسی می‌شوند. این‌که این گروه تا چه اندازه می‌تواند نماینده کل جامعه باشد، به نحوه انتخاب اعضا، ترکیب جمعیتی آنها، حجم نمونه، میزان ریزش اعضا و در صورت لزوم، وزن‌دهی آماری بستگی دارد. 

برای این‌که بتوان نتایج یک مطالعه پانل را به یک جامعه بزرگ‌تر تعمیم داد، باید بدانیم اعضای نمونه چگونه و با چه روشی انتخاب شده‌اند؛ آیا این فرآیند احتمالی و علمی بوده است؟ آیا ترکیب پانل از نظر استان، شهر و روستا، سن، جنسیت، تحصیلات و وضعیت اقتصادی با جامعه هدف همخوانی دارد؟ آیا گروه‌هایی که دسترسی یا مشارکت کمتری در فضای آنلاین دارند در نمونه به اندازه کافی حضور کافی یافته‌اند؟ و در نهایت، آیا ریزش اعضای پانل در طول زمان می‌تواند نمایندگی نمونه را تحت تأثیر قرار داده باشد؟

فرض کنید بخواهیم نظر دانشجویان یک کشور را بررسی کنیم. اگر از ابتدا یک نمونه تصادفی و نماینده از دانشجویان انتخاب کنیم و همان افراد را در چند سال متوالی مورد بررسی قرار دهیم، یک مطالعه پانل می‌تواند مبنای مناسبی برای تعمیم نتایج باشد، اما اگر افراد به شکل داوطلبانه یا غیرتصادفی وارد پانل شده باشند، نمی‌توان صرفا با استناد به تعداد آنها، نتایج را با اطمینان به کل جامعه تعمیم داد؛ بنابراین مسأله اصلی، ۲۰ هزار نفر یا ۲۰۰ هزار نفر بودن پانل نیست؛ مسأله اصلی سوگیری پوشش است. 

اگر یک پانل صرفا از کاربران اینترنت، اعضای یک پلتفرم یا داوطلبانی تشکیل شده باشد که خودشان برای حضور در یک نظرسنجی آنلاین ثبت‌نام کرده‌اند، تعداد زیاد اعضا لزوما به معنای نمایندگی کل جامعه ایران نیست. چون این افراد ممکن است از نظر سن، محل سکونت، تحصیلات، دسترسی به اینترنت، میزان استفاده از فضای مجازی و حتی علاقه به مشارکت در نظرسنجی‌های آنلاین، با کل جامعه تفاوت داشته باشند. 

البته یک پانل آنلاین می‌تواند برای برآورد‌های ملی مورد استفاده قرار گیرد؛ به شرط آن‌که نمونه‌گیری اولیه علمی باشد، سهم گروه‌های مختلف جمعیتی متناسب با جامعه تنظیم شود، گروه‌های کمتر پوشش داده شده به‌درستی در تحلیل لحاظ شوند، ریزش اعضا کنترل شود و جامعه هدف دقیقا مشخص باشد. 

وزن‌دهی آماری هم می‌تواند تا حدی عدم تطابق نمونه با ساختار جمعیت را اصلاح کند، اما یک نکته را نباید فراموش کرد: وزن‌دهی نمی‌تواند یک نمونه‌گیری اساسا نامناسب را به‌طور کامل جبران کند. به همین دلیل، درباره گزارش‌هایی که متا تحت عنوان «نظرسنجی» منتشر می‌کند، یک سؤال کاملا روشن دارم:

اگر پانل متا ۲۰ هزار عضو دارد، در هر نظرسنجی دقیقا برای چند نفر از این ۲۰ هزار نفر دعوتنامه ارسال شده است؟ چند نفر دعوت را پذیرفته‌اند؟ چند نفر واقعا به سؤالات پاسخ داده‌اند؟ ترکیب جمعیتی این پاسخ‌دهندگان چیست؟ چند‌درصد آنها زن و مرد هستند؟ چه توزیع سنی و تحصیلی دارند؟ از کدام استان‌ها و شهر‌ها هستند؟ و اساسا چه میزان از جامعه ایران از نظر سواد و دسترسی دیجیتال، امکان مشارکت در چنین نظرسنجی‌هایی را دارد؟ این اطلاعات برای ارزیابی اعتبار و قابلیت تعمیم یک نظرسنجی بسیار مهم است. 

اما یک سؤال دیگر، حتی از این هم جدی‌تر است. به کسانی که برخی گزارش‌های متا را مستمسک حمله به رسانه‌ملی قرار داده‌اند، پیشنهاد می‌کنم یک بار دیگر خود گزارش را با دقت بیشتری بخوانند. ضمن احترام کامل به مخاطبان همه برنامه‌های صداوسیما، در همین گزارش ادعا شده است که میزان مخاطب برنامه‌هایی مانند «به وقت ایران» و «حسینیه معلی» از برنامه «جام ۲۶» که پخش‌کننده مسابقات فوتبال جام‌جهانی بوده، بیشتر است. آیا واقعا این یافته برای خود شما قابل قبول است؟ آیا می‌توان پذیرفت که مخاطب مسابقات جام‌جهانی فوتبال که از جام ۲۶ شبکه سه پخش شده، کمتر از مخاطب این برنامه‌ها و در حد مخاطب برنامه‌هایی مانند «پدر امت» و «سمت خدا» بوده باشد؟ اگر بنا را بر صحت همین یافته بگذاریم و بپذیریم که برنامه جام ۲۶ فقط ۱۸‌درصد مخاطب داشته، یک سؤال مهم‌تر مطرح می‌شود. 

در یک نظرسنجی دیگر متا درباره تماشای مسابقات جام‌جهانی، اعلام شده که ۵۱‌درصد مردم ایران مسابقات جام‌جهانی را دنبال کرده‌اند. سپس در همان گزارش آمده است که بیش از ۴۸‌درصد مردم ایران مسابقات فوتبال جام‌جهانی را از طریق صداوسیما دنبال کرده‌اند. حالا این اعداد را کنار هم بگذاریم. اگر ۵۱‌درصد مردم ایران مسابقات جام‌جهانی را دنبال کرده‌اند و بیش از ۴۸‌درصد مردم، این مسابقات را از طریق صداوسیما دیده‌اند، چطور می‌توان همزمان به این نتیجه رسید که برنامه‌ای که پخش‌کننده همین مسابقات جام‌جهانی بوده، فقط ۱۸‌درصد مخاطب داشته است؟ این اعداد دست‌کم نیازمند توضیح هستند. 

بحث من این نیست که هر عددی که متا منتشر می‌کند لزوما نادرست است. بحث این است که قبل از این‌که یک عدد را به‌عنوان واقعیت افکار عمومی بپذیریم و بر مبنای آن درباره رسانه‌ملی قضاوت کنیم، باید بدانیم این عدد دقیقا چگونه تولید شده است. 

نظرسنجی علمی فقط یک عدد نهایی نیست؛ پشت آن، جامعه هدف، روش نمونه‌گیری، چارچوب نمونه، میزان مشارکت، نرخ پاسخ، ترکیب پاسخ‌دهندگان، وزن‌دهی و کیفیت داده‌ها قرار دارد؛ بنابراین انتظار طبیعی این است که وقتی گزارشی با عنوان نظرسنجی منتشر می‌شود و قرار است مبنای تحلیل درباره افکار عمومی مردم ایران قرار گیرد، این اطلاعات نیز به اندازه خود عدد نهایی شفاف باشد. 

در نهایت، سؤال من ساده است: آیا اعداد منتشرشده با یکدیگر سازگارند؟ اگر هستند، روش‌شناسی و جزئیات نمونه‌گیری چگونه این سازگاری را توضیح می‌دهد؟ و اگر نیستند، چرا باید یک عدد خاص را انتخاب کنیم و آن را مبنای قضاوت درباره رسانه‌ملی قرار دهیم؟ افکار عمومی را باید با روش علمی سنجید؛ نه با انتخاب گزینشی اعداد.