چگونه یک الگوریتم غذای هزاران فقیر را در تلانگانای هند رد کرد

این داستان با پشتیبانی شبکه پاسخگویی هوش مصنوعی مرکز پولیتزر تهیه شده است.

حیدرآباد و دهلی نو، هند – بسم‌الله بی نمی‌تواند تصور کند که ماشین داشته باشد. این بیوه ۶۷ ساله و ۱۲ عضو خانواده اش در یک خانه سه اتاقه تنگ در یک محله فقیر نشین شهری در حیدرآباد، مرکز ایالت تلانگانا هند زندگی می کنند. زنبور از زمان مرگ شوهرش که دو سال پیش بر اثر سرطان دهان مرد ریکشاو کشش بود، با پوست کندن سیر برای یک تجارت محلی امرار معاش می کند.

اما یک سیستم الگوریتمی، که دولت تلانگانا برای نمایه دیجیتالی بیش از ۳۰ میلیون ساکن خود به کار می گیرد، شوهر Bee را در سال ۲۰۲۱، زمانی که او هنوز زنده بود، به عنوان مالک خودرو برچسب گذاری کرد. این امر او را از غذای یارانه ای که دولت باید طبق قانون امنیت غذایی هند به فقرا ارائه کند، محروم کرد.

بنابراین، زمانی که همه‌گیری کووید-۱۹ در هند در حال گسترش بود و سرطان همسرش به اوج خود رسیده بود، بی بین مقامات دولتی می‌دوید تا آنها را متقاعد کند که او ماشین ندارد و واقعاً فقیر است.

مقامات به او اعتماد نکردند – آنها الگوریتم خود را باور کردند. مبارزه او برای به دست آوردن مواد غذایی یارانه ای درست به دادگاه عالی هند رسید.

خانواده Bee در سوابق سرشماری هند به عنوان “زیر خط فقر” ذکر شده است. این طبقه بندی به او و همسرش اجازه می داد به مزایای رفاهی ایالتی، از جمله تا ۱۲ کیلوگرم برنج به قیمت یک روپیه (۰.۰۱۲ دلار) در هر کیلوگرم در مقابل قیمت بازار حدود ۴۰ روپیه (۰.۴۸ دلار) دسترسی داشته باشند.

هند یکی از بزرگترین برنامه های امنیت غذایی جهان را اجرا می کند که وعده غلات یارانه ای را به حدود دو سوم جمعیت ۱.۴ میلیاردی خود می دهد.

از لحاظ تاریخی، مقامات دولتی صلاحیت متقاضیان رفاه را از طریق بازدید میدانی و تأیید فیزیکی مدارک تأیید و تأیید می‌کردند. اما در سال ۲۰۱۶، دولت قبلی تلانگانا، تحت رهبری حزب بهارات راشترا سامیتی، شروع به مسلح کردن مقامات به ساماگرا ودیکا کرد، یک سیستم الگوریتمی که داده‌های شهروندان را از چندین پایگاه داده دولتی برای ایجاد نمایه‌های دیجیتال جامع یا «نماهای ۳۶۰ درجه» یکپارچه می‌کند.

تأیید فیزیکی هنوز مورد نیاز بود، اما طبق سیستم جدید، مسئولان موظف بودند قبل از تصمیم گیری خودشان بررسی کنند که آیا سیستم الگوریتمی واجد شرایط بودن متقاضی را تأیید می کند یا خیر. آنها می توانند پیش بینی الگوریتم را دنبال کنند یا دلایل و شواهد خود را برای مخالفت با آن ارائه دهند.

این سیستم که در ابتدا توسط پلیس ایالتی برای شناسایی مجرمان مستقر شد، اکنون به طور گسترده توسط دولت ایالتی برای تعیین صلاحیت مدعیان رفاه و دستگیری کلاهبرداری های رفاهی استفاده می شود.

اما در مورد Bee، ساماگرا ودیکا، شوهر فقیدش سید علی، ریکشا کش، را با سید حیدرعلی، مالک خودرو اشتباه گرفت – و مقامات نیز کلمه الگوریتم را پذیرفتند.

Bee تنها قربانی چنین snafus دیجیتالی نیست. از سال ۲۰۱۴ تا ۲۰۱۹، تلانگانا بیش از ۱.۸۶ میلیون کارت امنیت غذایی موجود را لغو کرد و ۱۴۲۰۸۶ درخواست جدید را بدون اطلاع قبلی رد کرد.

دولت در ابتدا ادعا کرد که اینها همگی مدعیان کلاهبرداری یارانه بودند و اینکه قادر به “از بین بردن” ذینفعان واجد شرایط نبودند، مبالغ هنگفتی برای آن پس انداز کرده بود.

اما بررسی ما نشان می‌دهد که چندین هزار مورد از این حذف‌ها به‌دلیل داده‌های معیوب و تصمیم‌های الگوریتمی بد ساماگرا ودیکا به اشتباه انجام شده‌اند.

پس از حذف، این مسئولیت بر عهده ذینفعان حذف شده است تا به سازمان‌های دولتی ثابت کنند که حق دریافت غذای یارانه‌ای را دارند.

حتی زمانی که مقامات این کار را انجام دادند، اغلب از تصمیم الگوریتم حمایت می کردند.

افزایش الگوریتم های رفاه

هند تقریباً ۱۳ درصد از تولید ناخالص داخلی (GDP) یا نزدیک به ۲۵۶ میلیارد دلار را صرف ارائه مزایای رفاهی از جمله غذای یارانه‌ای، کودهای شیمیایی، گاز پخت و پز، بیمه محصولات کشاورزی، مسکن و مستمری می‌کند.

اما طرح‌های رفاهی در طول تاریخ با شکایت‌هایی از “نشت” مواجه بوده‌اند. در چندین مورد، دولت متوجه شد که مقامات فاسد منحرف شده‌اند. یارانه به مدعیان غیر واجد شرایط، یا مدعیان متقلب هویت یا واجد شرایط بودن خود را برای ادعای مزایا به اشتباه معرفی کردند.

در دهه گذشته، دولت فدرال و چندین ایالت به طور فزاینده ای به فناوری برای رفع این نشت ها متکی بوده اند.

ابتدا، برای جلوگیری از تقلب در هویت، آنها این طرح‌ها را با Aadhaar، شماره شناسایی منحصربه‌فرد مبتنی بر بیومتریک بحث‌برانگیز که برای هر هندی ارائه می‌شود، مرتبط کردند.

اما Aadhaar صلاحیت مدعیان را تأیید نمی کند. و بنابراین، در چند سال گذشته، چندین ایالت فناوری‌های جدیدی را اتخاذ کرده‌اند که از الگوریتم‌هایی استفاده می‌کنند – که برای عموم غیرشفاف است – برای تأیید این واجد شرایط بودن.

در طول سال گذشته، الجزیره به بررسی استفاده و تأثیر چنین الگوریتم‌های رفاهی با مشارکت شبکه پاسخگویی هوش مصنوعی (AI) مرکز پولیتزر پرداخت. قسمت اول مجموعه ما نشان می دهد که چگونه استفاده بی رویه از ساماگرا ودیکا غیرشفاف و غیرقابل پاسخگویی در تلانگانا، هزاران نفر از مردم فقیر را برای سال ها از غذای یارانه ای برحق محروم کرده است که توسط مقامات دولتی غیرممکن تشدید شده است.

Samagrama Vedika در گذشته به دلیل استفاده نادرست بالقوه در نظارت جمعی و خطر برای حریم خصوصی شهروندان مورد انتقاد قرار گرفته است زیرا زندگی ۳۰ میلیون ساکن این ایالت را ردیابی می کند. اما اثربخشی آن در کشف کلاهبرداری های رفاهی تاکنون بررسی نشده است.

در پاسخ به سؤالات دقیق ارسال شده توسط الجزیره، جیش رانجان، دبیر اصلی دپارتمان فناوری اطلاعات در تلانگانا، گفت که سیستم قبلی تأیید حضوری «بر اساس صلاحدید مقامات، غیرشفاف و سوء استفاده بود و منجر به فساد شد. ساماگرا ودیکا روشی شفاف و پاسخگو برای شناسایی ذینفعان ارائه کرده است که مورد قدردانی شهروندان است.»

مادر و غیر قابل پاسخگویی

نداشتند

Telangana Samagra Vedika را به عنوان فناوری پیشرو در خودکارسازی تصمیمات رفاهی پروژه می‌دهد.

Posidex Technologies Private Limited، شرکتی که Samagra Vedika را توسعه داده است، در وب سایت خود می گوید که “می تواند با شناسایی نشتی ها، سالانه چند صد کرور برای دولت ایالتی پس انداز کند”. ایالت های دیگر آن را برای توسعه پلتفرم های مشابه استخدام کرده اند.

اما نه دولت ایالتی و نه شرکتی کد منبع ساماگرا ودیکا – مجموعه دستورالعمل‌های نوشته شده‌ای که یک برنامه رایانه‌ای را اجرا می‌کند – یا هر داده قابل تأیید دیگری را در مالکیت عمومی قرار نداده‌اند تا ادعاهای خود را پشتیبانی کنند.

در سطح جهانی، محققان استدلال می‌کنند که کدهای منبع الگوریتم‌های دولتی باید به طور مستقل ممیزی شوند تا صحت پیش‌بینی‌های آن‌ها را بتوان مطمئن کرد.

دپارتمان فناوری اطلاعات ایالتی درخواست‌های ما را بر اساس قانون حق دسترسی به اطلاعات برای به اشتراک گذاشتن کد منبع و قالب‌های داده‌های مورد استفاده توسط ساماگرا ودیکا برای تصمیم‌گیری رد کرد و گفت که این شرکت «حقوقی بر آنها» دارد. Posidex Technologies درخواست ما برای مصاحبه را رد کرد.

بیش از دوازده مصاحبه با مقامات دولتی، فعالان و افرادی که از طرح‌های رفاهی حذف شده‌اند، و همچنین مطالعه طیف وسیعی از اسناد از جمله سوابق مناقصه، به ما نگاهی اجمالی به نحوه استفاده ساماگرا ودیکا از الگوریتم‌ها برای مثلث‌بندی هویت یک فرد در چندین دولت داد. پایگاه داده – به اندازه ۳۰ – و همه اطلاعات را برای ایجاد نمایه یک شخص ترکیب می کند.

Samagra Vedika در ابتدا در سال ۲۰۱۶ برای کمیساریای پلیس حیدرآباد ساخته شد تا پروفایلی از افراد مورد علاقه ایجاد کند. در همان سال، در طرح امنیت غذایی به‌عنوان آزمایشی معرفی شد و تا سال ۲۰۱۸، برای اکثر طرح‌های رفاهی دولتی اجرا شد.

طبق قوانین امنیت غذایی Telangana، کارت‌های امنیت غذایی برای مسن‌ترین عضو زن خانواده‌هایی که درآمد سالانه کمتر از ۱۵۰۰۰۰ روپیه (۱۸۲۳ دلار) در مناطق روستایی و ۲۰۰۰۰۰ روپیه (۲۴۳۱ دلار) در مناطق شهری دارند، صادر می‌شود.

دولت همچنین معیارهای واجد شرایط بودن دیگری را وضع می‌کند: خانواده نباید چهار چرخ داشته باشد، و هیچ یک از اعضای خانواده نباید یک شغل دولتی یا خصوصی معمولی داشته باشد یا صاحب کسب و کاری مانند مغازه، پمپ بنزین یا کارخانه برنج باشد.

این جایی است که ساماگرا ودیکا وارد عمل می شود. هنگامی که یک پرس و جو مطرح می شود، از طریق پایگاه داده های مختلف نگاه می کند. اگر منطبق را به اندازه کافی نزدیک ببیند که یکی از معیارها را نقض می کند، مدعی را به عنوان واجد شرایط نشان نمی دهد.

خطاها و آسیب

از آنجایی که تغییرات زیادی در نحوه ثبت نام و آدرس در پایگاه‌های داده مختلف وجود دارد، ساماگرا ودیکا از “یادگیری ماشین” و “فناوری وضوح موجودیت” برای شناسایی منحصر به فرد یک شخص استفاده می‌کند.

دولت قبلاً گفته بود که این فناوری “دقت بالا” دارد. که “هیچ وقت بازی مناسب را از دست نمی دهد” و “کمترین تعداد مثبت کاذب” را دریافت می کند.

همچنین گفته شده است که خطای برچسب گذاری یک وسیله نقلیه یا خانه به شخص اشتباه در کمتر از پنج درصد موارد اتفاق می افتد و اکثر این خطاها را اصلاح کرده است.

اما تأیید مجدد کارت‌های غذایی رد شده توسط دادگاه عالی نشان می‌دهد که حاشیه خطا بسیار بالاتر است.

در آوریل ۲۰۲۲، در پرونده ای که ابتدا توسط فعال اجتماعی SQ Masood به نمایندگی از خانواده های محروم شده تشکیل شد، دادگاه عالی به دولت دستور داد تا بررسی میدانی تمام ۱.۹ میلیون کارت حذف شده از سال ۲۰۱۶ را انجام دهد.

از ۴۹۱۸۹۹ درخواست دریافت شده برای راستی‌آزمایی، ایالت ۲۰۵۷۳۴ درخواست را تا ژوئیه ۲۰۲۲ پردازش کرده است که آخرین داده‌های موجود در دسترس عموم است. از این تعداد، ۱۵۴۷۱ درخواست تایید شد که نشان می دهد حداقل ۷.۵ درصد از کارت ها به اشتباه رد شده اند.

مسعود، که با انجمن توانمندسازی اجتماعی-اقتصادی حاشیه نشینان (ASEEM) که یک سازمان غیرانتفاعی است، گفت: «ما بسیاری از خانواده‌های واقعاً نیازمند را پیدا کردیم که درخواست‌های [کارت امنیت غذایی] آنها به دلیل برچسب‌گذاری اشتباه رد شد. . “آنها به اشتباه به دلیل داشتن چهارچرخ، پرداخت مالیات بر دارایی یا کارمند دولت بودن [برچسب] شدند.”

این دادخواست حدود ۱۰ مورد از محرومیت های نادرست را فهرست می کند. الجزیره از سه مورد از آنها بازدید کرد و می تواند تأیید کند که آنها به اشتباه توسط ساماگرا ودیکا برچسب گذاری شده اند.

دیوید نولان، محقق ارشد تحقیقاتی در آزمایشگاه پاسخگویی الگوریتمی در عفو بین‌الملل، می‌گوید که منطق استقرار سیستم‌هایی مانند ساماگرا ودیکا در ارائه خدمات رفاهی بر این است که حجم کافی از متقاضیان کلاهبردار وجود داشته باشد، که در عمل احتمالاً محتمل است. برای افزایش تعداد مطابقت های نادرست.

مثبت غلط زمانی رخ می‌دهد که یک سیستم به اشتباه یک برنامه مشروع را به‌عنوان تقلبی یا تکراری برچسب‌گذاری کند، و منفی کاذب زمانی رخ می‌دهد که سیستم یک برنامه تقلبی یا تکراری را قانونی برچسب‌گذاری کند. نولان گفت: «مهندسان باید بین این دو خطا تعادل برقرار کنند، زیرا نمی توان یکی را بدون خطر افزایش نسبت به دیگری کاهش داد.

عواقب مثبت کاذب زیاد است زیرا به این معنی است که یک فرد یا خانواده به اشتباه از حمایت اساسی محروم می شوند.

«در حالی که دولت ادعا می کند که این موارد را در استفاده از ساماگرا ودیکا به حداقل می رساند، این سیستم ها هزینه مالی نیز دارند و دولت باید با یافتن برنامه های تقلبی یا تکراری کافی ارزش پول را نشان دهد. این امر باعث می‌شود دولت‌ها از سیستم‌های خودکار برای کاهش تعداد منفی‌های کاذب استفاده کنند، که منجر به افزایش احتمالی نرخ مثبت کاذب می‌شود – که باعث می‌شود خانواده‌های واجد شرایط به ناحق از ارائه خدمات رفاهی کنار گذاشته شوند.

رانجان نگرانی ها را به عنوان “تردید” رد کرد و گفت که همه ایالت ها سعی می کنند “خطاهای گنجاندن و خطاهای محرومیت را در همه برنامه های رفاهی به حداقل برسانند … دولت تلانگانا پروژه ای به نام ساماگرا ودیکا را با استفاده از آخرین فناوری ها مانند داده های بزرگ و غیره برای اهداف مشابه اجرا کرده است.” .

او افزود که دولت در خرید ساماگرا ودیکا همان رویه را که برای سایر برنامه های نرم افزاری از طریق مناقصه آزاد انجام می دهد دنبال کرده است و استفاده از ساماگرا ودیکا توسط ادارات مختلف برای اندازه های مختلف نمونه در مکان های مختلف تأیید شده است. “سطوح بسیار بالایی از دقت”. او گفت که این امر با راستی‌آزمایی‌های میدانی توسط بخش‌های مختلف بیشتر تقویت شد.

الگوریتم های بیش از انسان

بعد از اینکه کارت امنیت غذایی Bee در سال ۲۰۱۶ لغو شد، مقامات به مدت چهار سال بر روی درخواست تمدید او نشستند تا اینکه در نهایت در سال ۲۰۲۱ آن را رد کردند زیرا ادعا کردند که او یک خودروی چهارچرخ دارد.

“اگر ما پول خرید ماشین داشتیم، چرا اینطور زندگی می کردیم؟” زنبور می پرسد. «اگر مسئولان به خانه من می آمدند، شاید آنها هم این را می دیدند. اما هیچ کس ما را ملاقات نکرد.»

او با کمک ASEEM، غیرانتفاعی، شماره ثبت وسیله نقلیه‌ای را که ظاهراً مالک آن شوهرش بود، بیرون آورد و صاحب واقعی آن را پیدا کرد.

هنگامی که Bee شواهد را ارائه کرد، مقامات موافقت کردند که یک خطای الگوریتمی وجود دارد اما گفتند که درخواست او نمی تواند مورد بررسی قرار گیرد زیرا کل درآمد خانواده او از حد مجاز فراتر رفته است، حتی اگر اینطور نبود.

رد شده است.

زنبور همچنین بر اساس معیارهای دیگری از جمله بیوه بودن، ۶۰ سال یا بیشتر بودن، و مجرد بودن “بدون حمایت خانواده” یا “وسیله معیشت مطمئن” واجد شرایط دریافت غلات یارانه ای بود.

دادخواست دیوان عالی پرونده‌های حداقل شش زن دیگر را فهرست می‌کند که بدون ذکر دلیل یا به دلایل نادرست مانند داشتن چهارچرخ که هرگز مالک آن نبودند، از مزایای طرح غذایی محروم شدند.

این شامل ذینفع مستثنی شده ماهر بی است که با همسر و پنج فرزندش در یک آپارتمان اجاره ای در حیدرآباد زندگی می کند. فلج اطفال شوهرش را از ناحیه پای چپ فلج کرد و قادر به رانندگی با ماشین نبود. این خانواده در سال ۲۰۱۸ برای دریافت کارت امنیت غذایی درخواست کردند، اما در سال ۲۰۲۱ به دلیل “داشتن یک خودروی چهارچرخ” رد شدند، حتی با وجود نداشتن کارت.

ماهر بی گفت: «به جای سه روپیه، برای هر کیلوگرم برنج ۱۰ روپیه خرج می کنیم. “ما همان برنج ارائه شده در این طرح را از فروشندگانی می خریم که آن را سیفون می کنند و با قیمت های بالاتر می فروشند.”
مسعود از ASEEM گفت: «هیچ پاسخگویی در مورد این استثناهای الگوریتمی وجود ندارد. «پیش از این، افراد آسیب دیده می توانستند به مقامات محلی مراجعه کنند و پاسخ و راهنمایی دریافت کنند، اما اکنون مسئولان نمی دانند … تمرکز دولت بر حذف هر چه بیشتر افراد از لیست ذینفعان است در حالی که تمرکز باید بر این باشد که خیر. ذینفع واجد شرایط بدون غذا می ماند.”

در ماه نوامبر، دادگاه عالی تلانگانا در پرونده ای که توسط ماهر بی ارائه شد، گفت که “خواهان واجد شرایط” برای کارت امنیت غذایی هر زمان که دولت ایالت کارت های جدیدی صادر می کند. در همین حال بسم الله زنبور عسل که بیش از هفت سال است از جیره بندی محروم شده است، همچنان منتظر است.

(فردا قسمت ۲ مجموعه را می آورد – زمانی که الگوریتمی افراد زنده را مرده اعلام می کند)

تپاسیا یکی از اعضای گروه گزارشگران است. کومار سامباو همکار مسئولیت‌پذیری هوش مصنوعی مرکز پولیتزر در سال ۲۰۲۲ و سرپرست تحقیقات هند با آزمایشگاه شاهد دیجیتال دانشگاه پرینستون است. و دیویج جوشی محقق دکترا در دانشکده حقوق دانشگاه کالج لندن است.