إعلان تورنتو

حماية الحق في المساواة وعدم التعرض للتمييز في نظم التعلم الآلي

الديباجة

1. يتعين علينا، ونحن نشهد تقدم نظم التعلم الآلي، من حيث قدراتها والزيادة المطردة في استخدامها، تفحّص أثر هذه التكنولوجيا على حقوق الإنسان. فرغم اعترافنا بإمكانية استخدام التعلم الآلي، وما يرتبط به من نظم في تعزيز حقوق الإنسان، تساورنا بواعث قلق متزايدة حول قدرة هذه النظم أن تسهِّل التمييز المتعمد أو غير المقصود ضد أفراد بعينهم، أو مجموعات بعينها، من البشر. لهذه الأسباب، علينا أن نتصدى على وجه السرعة لمسألة كيفية تأثير هذه التكنولوجيات على البشر وعلى حقوقهم. ففي عالم تسود فيه نظم التعلم الآلي، ما هي الجهات التي ستتحمل المسؤولية عن إلحاق الأذى بحقوق الإنسان؟

2. مع استمرار الحوار بشأن الأخلاقيات والذكاء الاصطناعي، يهدف هذا الإعلان إلى لفت الأنظار إلى الإطار الراسخ للقانون والمعايير الدوليين لحقوق الإنسان. فهذه القوانين والمعايير العالمية والملزمة والقابلة للتنفيذ توفر السبل الملموسة لحماية الأفراد من التمييز، ولتعزيز الشمول والتنوع والإنصاف، وحماية المساواة. فحقوق الإنسان “عالمية وغير قابلة للتجزئة ومترابطة ومتشابكة” . [1]

3. ويهدف هذا الإعلان إلى الانطلاق مما هو قائم من مناقشات ومبادئ ودراسات تستكشف أوجه الضرر التي تنجم عن استخدام هذه التكنولوجيا. فقد ساعد العمل المهم الذي أنجزه العديد من الخبراء في هذا المجال على التوعية بشأن النقاشات المتعلقة بمخاطر التمييز الكامنة في نظم التعلم الآلي، وعلى إضافة معارف جديدة إليها. [2] ونأمل في إضافة جهد جديد إلى هذه الحصيلة التي تراكمت بإعادة التأكيد على دور قانون ومعايير حقوق الإنسان في حماية الأفراد والجماعات من التمييز، في أي سياق من السياقات. فقانون ومعايير حقوق الإنسان المشار إليهما في هذا الإعلان يوفران الأساس الراسخ لصياغة أطر أخلاقية للتعلم الآلي، بما في ذلك إرساء أحكام للمساءلة وسبل الانتصاف.

4. فمن الخفارة، إلى أنظمة الرعاية، إلى توفير الرعاية الصحية، إلى منصات الحوار الإلكترونية – على سبيل المثال لا الحصر – يمكن للنظم التي تشغل تكنولوجيات للتعلم الآلي أن تعزز على نطاق واسع وسريع، البنى الهيكلية للقوة، أو أن تغيرها على نطاق غير مسبوق، بصورة تلحق أذى لا يستهان به بحقوق الإنسان، ولا سيما بالحق في المساواة. وثمة أدلة وفيرة ومتزايدة تبيِّن أن نظم التعلم الآلي، التي يمكن أن تكون غير واضحة وتتضمن عمليات غير قابلة للتفسير، يمكن أن تسهم في ممارسات تمييزية، وحتى قمعية، إذا ما تم اعتمادها واستخدامها دون الضمانات الضرورية.

5. ينبغي على الدول والجهات الفاعلة في القطاع الخاص تعزيز تطوير واستخدام نظم التعلم الآلي والتكنولوجيات المتعلقة بها حيثما يساعد ذلك الناس على التمتع بحقوق الإنسان وممارستها. وعلى سبيل المثال، يمكن لاستخدام نظم التعلم الآلي في قطاع الرعاية الصحية، أن يطور القدرة على التشخيص والعلاج، بينما يمكن أن يجعل خدمات الرعاية الصحية متاحة أكثر ويمكن الوصول إليها على نطاق أوسع. كما ينبغي على الدول فيما يتعلق بنظم التعلم الآلي، والذكاء الاصطناعي بصورة أعم، أن تعزز على نحو إيجابي الحق في الاستفادة من التطورات العلمية والتقنية باعتبار ذلك تأكيداً للحقوق الاقتصادية والاجتماعية والثقافية. [3]

6. نركز في هذا الإعلان على الحق في المساواة وفي عدم التعرض للتمييز. علماً بأن ثمة حقوقاً إنسانية عديدة أخرى يمكن أن تتأثر سلباً جراء استخدام وإساءة استخدام نظم التعلم الآلي، بما فيها الحق في الخصوصية، وفي حماية البيانات الشخصية، والحق في حرية التعبير وتكوين الجمعيات أو الانضمام إليها، وفي المشاركة بالحياة الثقافية، وفي المساواة أمام القانون، والتماس الانتصاف الفعال. كما يمكن للنظم التي تصنع القرارات وتعالج البيانات الرقمية أن تقوِّض الحقوق الاقتصادية والاجتماعية والثقافية أيضاً؛ وعلى سبيل المثال، يمكن لهذه أن تؤثر سلباً على توفير خدمات حيوية من قبيل الرعاية الصحية والتعليم، وتحد من الوصول إلى الفرص مثل فرص العمل.

7. بينما يركّز هذا الإعلان على تكنولوجيات التعلم الآلي، يمكن للعديد من النماذج والمبادئ التي يتضمنها أن تنطبق بالمثل على التكنولوجيات التي يشملها بصورة أوسع مصطلح الذكاء الاصطناعي، وكذلك نظم البيانات ذات الصلة.

قم بتنزيل إعلان تورنتو

استخدام إطار القانون الدولي لحقوق الإنسان

8. استخدام إطار القانون الدولي لحقوق الإنسان تلتزم الدول بتعزيز حقوق الإنسان وحمايتها واحترامها؛ وتتحمل الجهات الفاعلة في القطاع الخاص، بما فيها الشركات، مسؤولية احترام حقوق الإنسان في جميع الأوقات. نقدم هذا الإعلان من أجل التأكيد على هذه الالتزامات والمسؤوليات.

9. تدور نقاشات عديدة اليوم على المستويات فوق الوطنية، وعلى مستوى الدول والأقاليم، وفي شركات التكنولوجيا والمؤسسات الأكاديمية والمجتمع المدني، وسواها، وتتركز كلها حول أخلاقيات الذكاء الاصطناعي، وكيفية جعل التكنولوجيا في هذا المجال تتمحور حول الإنسان. يجب تحليل هذه المسائل من منظور حقوق الإنسان لتقييم مدى الضرر الراهن أو المستقبلي الذي قد تتسبب به هذه التكنولوجيا لحقوق الإنسان، أو تسهِّل تعرضه له، بغرض اتخاذ خطوات ملموسة للتصدي لأي خطر قد يلحق الأذى بحقوق الإنسان.

10. إن قانون حقوق الإنسان منظومة من القيم مرسخة عالمياً وتستند إلى حكم القانون. ويوفّر سبلاً راسخة لضمان احترام الحقوق، بما فيها الحق في المساواة، وفي عدم التعرض للتمييز. وكونه ملزم عالمياً بطبيعته، ويضم مجموعة قابلة للتطبيق من المعايير، يجعله ملائماً لتكنولوجيات عابرة للحدود. ويحدد قانون حقوق الإنسان المعايير ويقدِّم الآليات لمساءلة الجهات الفاعلة في القطاعين العام والخاص عندما يتقاعسون عن الوفاء بالتزاماتهم وبمسؤولياتهم لحماية حقوق الإنسان واحترامها. كما يقتضي أن يكون كل شخص قادراً على التماس الانتصاف الفعال والتمتع بجبر الضرر عندما يحرم من حقوقه أو يتم انتهاك هذه الحقوق.

11. ولذا، ينبغي النظر في المخاطر التي يمكن أن تجلبها نظم التعلّم الآلي ومعالجتها على وجه السرعة على المستوى الحكومي، ومن قبل الجهات الفاعلة في القطاع الخاص، ممن ينشئون هذه الأنظمة ويطوّرونها وينشرونها. بينما يظل من الأمور الحاسمة تحديد أشكال الأذى المحتملة ومعالجتها، وإقرار الآليات لإخضاع المسؤولين عما يقع من ضرر للمسائلة. كما ينبغي أن تكون التدابير الحكومية إلزامية وكافية لحماية حقوق الإنسان وتعزيزها. وينبغي إشراك الخبراء الأكاديميين والقانونيين وخبراء المجتمع المدني، على نحو فعال في هذه النقاشات، والاهتمام بما يقدمون من آراء نقدية ومشورة بشأن استخدام هذه التكنولوجيات.

استخدام إطار القانون الدولي لحقوق الإنسان

12. يتمحور هذا الإعلان حول الحق في المساواة وفي عدم التعرض للتمييز، وهو مبدأ حاسم يشكل الأساس لجميع حقوق الإنسان.

13. ووفقاً للقانون الدولي، فإن تعبير التمييز “يتضمن أي تفرقة أو استبعاد أو تقييد أو تفضيل يقوم لأي سبب، كالعرق أو اللون أو الجنس أو اللغة أو الدين أو الرأي السياسي أو غير السياسي أو الأصل القومي أو الاجتماعي أو الثروة أو النسب أو غير ذلك، مما يستهدف أو يستتبع تعطيل أو عرقلة الاعتراف لجميع الأشخاص، على قدم المساواة، بجميع الحقوق والحريات أو التمتع بها أو ممارستها.” [4] وهذه القائمة ليست شاملة، فقد اعترفت “مفوضيّة الأمم المتّحدة السامية لحقوق الإنسان ” بضرورة منع التمييز ضد فئات إضافية. [5]

منع التمييز

14. إعمالاً لقانون ومعايير حقوق الإنسان النافذين، يلتزم الفاعلون في القطاع الخاص والحكومات بالمبادرة بمنع التمييز. وعندما يتبين أن المنع ليس كافياً أو مُرضياً، ويتضح أن ثمة تمييزاً قد وقع، ينبغي إخضاع النظام للتفحص والتقصي، ومعالجة أوجه القصور على الفور.

15. عند استخدام تكنولوجيات جديدة، من المرجح أن تحتاج الحكومات والفاعلون في القطاع الخاص، على حد سواء، إلى إيجاد طرق جديدة لحماية حقوق الإنسان، مع ظهور تحديات جديدة تتعلق بالمساواة بين مختلف الأفراد والجماعات، وبحقهم في التمثيل، وبالآثار المترتبة عليها.

16. وثمة احتمال أن يتم تكرار الأنماط الموجودة من التمييز الهيكلي وبأن تزداد حدة في حالات خاصة بهذه التكنولوجيات – وعلى سبيل المثال، أهداف نظم التعلم الآلي التي تستتبع خلق مؤشرات النجاح المحققة لذاتها، وتعزز أنماط عدم المساواة القائمة، أو بمسائل تترتب على استخدام مجموعات البيانات غير التمثيلية أو المتحيزة.

17. يتوجب على جميع الفاعلين، في القطاعين العام والخاص، الحيلولة دون الوقوع في خطر التمييز أثناء تصميم تكنولوجيات التعلم الآلي وتطويرها وتشغيلها، والتخفيف ما أمكن ذلك من مثل هذا الخطر. يجب أن يتأكّدوا أيضًا من وجود آليات تسمح بالوصول إلى سبل انتصاف معمول بها قبل تشغيل النظام وطوال فترة استخدامه.

حماية حقوق جميع الأفراد والجماعات: تعزيز التنوع والتضمين

18. يؤكد هذا الإعلان على أن التضمين والتنوع والإنصاف مكونات أساسية لحماية الحق في المساواة وعدم التمييز واحترامه. ويتعين أن تؤخذ جميعاً بعين الاعتبار، عند تطوير نظم التعلم الآلي وتشغيلها، بغية منع التمييز، ولا سيما ضد الفئات المهمّشة.

19. بينما يمكن لجمع البيانات أن يساعد في التخفيف من وطأة التمييز، يشكِّل جمع البيانات المتعلقة بالتمييز لبعض الفئات صعوبة خاصة. وينبغي توفير تدابير حمائية إضافية لهذه المجموعات، بما في ذلك تدابير لحماية البيانات الحساسة.

20. يخلق التحيز الضمني، وغير المتعمد، لدى تصميم نظم التعلم الآلي وسيلة أخرى تؤدي إلى التمييز، عندما يتولى قطاع بعينه من المجتمع، بشكل كبير، وضع نظم التعلم الآلي وتطويرها واستخدامها النهائي. حيث تتولى شركات تتخذ من بلدان وأقاليم معينة مقراً لها حالياً تطوير هذه التكنولوجيات وتطبيقاتها ومراجعتها، إلى حد كبير؛ والأشخاص الذين يتولون أمر هذه التكنولوجيات يضمّنون تحيزاتهم الخاصة في بنيتها، ومن المرجح أن لا يستخدموا إلا قدراً قليلاً من المداخلات التي يمكن أن تسهم بها الفئات المتنوعة، من حيث العرق أو الثقافة أو النوع الاجتماعي أو الخلفية الاجتماعية والاقتصادية.

21. يستلزم التضمين والتنوع والإنصاف المشاركة النشطة والتشاور الهادف لمجموعات متنوعة بمن فيهم المستخدمين النهائيين، أثناء تصميم نظم التعلم الآلي وتطبيقها، وذلك للمساعدة على ضمان إنتاج هذه النظم واستخدامها على نحو يحترم الحقوق- ولا سيما حقوق الفئات المهمشة المعرّضة أكثر من غيرها للتمييز.

واجبات الدول: الالتزامات بحقوق الإنسان

22. تتحمل الدول، واجباً أساسًيا في تعزيز حقوق الإنسان وحمايتها واحترامها وإعمالها. فبموجب القانون الدولي، يتعين على الدول عدم الانخراط في أو دعم أعمال أو ممارسات تمييزية أو منتهكة تنتهك الحقوق، عند تصميمها نظم التعلم الآلي أو تطبيقها في السياق العام للمجتمع أو من خلال شراكات بين القطاعين العام والخاص.

23. يتعين على الدول التقيد بالقوانين والأنظمة الوطنية والدولية ذات الصلة التي تنظم وتطبّق التزامات حقوق الإنسان التي تهدف إلى الحماية ضد التمييز، وما يتصل بذلك من انتهاكات للحقوق، وعلى سبيل المثال قوانين حماية البيانات والخصوصية.

24. الدول ملزمة على نحو إيجابي بأن توفر الحماية ضد التمييز من قبل الجهات الفاعلة في القطاع الخاص، وبأن تعزز المساواة وغير ذلك من الحقوق، بما في ذلك عن طريق فرض قوانين ملزِمة بهذا الخصوص.

25. تنطبق التزامات الدول المنصوص عليها في هذا الجزء أيضاً على الاستخدام العام للتعلم الآلي بالشراكة مع الجهات الفاعلة في القطاع الخاص.

استخدام الدول لنظم التعلم الآلي

26. يتوجب على الدول ضمان تحديث التدابير النافذة لمنع التمييز وغير ذلك من الانتهاكات للحقوق كي تأخذ في الحسبان المخاطر التي تجلبها تكنولوجيات التعلم الآلي، وتتصدى لها.

27. تستخدم السلطات العامة على نحو متزايد نظم التعلم الآلي وتطبقها في مجالات أساسية لممارسة والتمتّع بحقوق الإنسان وحكم القانون والإجراءات الواجبة وحرية التعبير والعدالة الجنائية والرعاية الصحية وإمكانية الحصول على مكتسبات الرعاية الاجتماعية والإسكان. وفي حين قد تكون لهذه التكنولوجيات فوائدها في هذه السياقات، إلا أنها تحمل معها في الوقت نفسه مخاطر كبيرة قد تفضي إلى التمييز أو لغيره من النتائج التي تلحق الأذى بالحقوق. ومن الأساسي أن تتيح الدول فرصاً ذات مغزى للعلاج الفعال ولجبر الضرر، حيثما يقع ذلك.

28. طبقاً لما أكدته “لجنة حقوق الإنسان”، فإن المادة 26 من “العهد الدولي الخاص بالحقوق المدنية والسياسية” تحظر “التمييز أمام القانون أو، في الواقع، في أي ميدان تحكمه وتحميه سلطات عامة.” [6] وقد جرى التأكيد على هذا في المعاهدات التي تعالج أشكالاً خاصة من التمييز، والتزمت بموجبها الدول بالامتناع عن التورط في التمييز، وبضمان أن تتصرف السلطات والمؤسسات العامة “طبقا لهذا الالتزام”. [7]

29. يتعين على الدول الامتناع كلياً عن استخدام أدوات تميِّز ضد حقوق الإنسان، أو تفضي إلى نتائج تميّز ضد هذه الحقوق، أو تلحق الأذى بها؛ أو الطلب من القطاع الخاص أن يستخدم مثل هذه الأدوات.

30. يتعين على الدول اتخاذ الخطوات التالية للتخفيف من أضرار التمييز المترتبة على استخدام نظم التعلم الآلي في منظومات القطاع العام:

تحديد المخاطر .i

31. يتعين على أي دولة تستخدم تكنولوجيات التعلم الآلي أن تتحرى بدقة عن النظم التي سوف تستخدمها بغية تحديد مخاطر التمييز، وغيرها من المخاطر على الحقوق التي يمكن أن تترتب على استخدامها، قبل أن تبدأ بتطويرها أو تحصل عليها، حيثما أمكن ذلك، وقبل استخدامها؛ وأن تواصل تفحصها بصورة مستمرة طيلة فترة استخدامها في السياق الذي تستخدم فيه. ويمكن لهذا أن يشمل:

أ. إجراء تقييمات منتظمة للآثار المترتبة على استخدام نظم التعلم الآلي قبل شرائها العام واستخدامها، وفي مختلف مراحل تطويرها، وبصورة مستمرة خلال تشغيلها واستخدامها، وذلك بغرض التعرف على مصادر التمييز المحتملة أو سواها من النتائج الضارة بحقوق الإنسان – وعلى سبيل المثال، في تصميم النموذج الخوارزمي، أو أثناء عمليات الإشراف، أو معالجة البيانات.

ب. اتخاذ التدابير المناسبة للحد من المخاطر المحدّدة من خلال عمليات تقييم التأثير- وعلى سبيل المثال التخفيف من التمييز أو تدني نسب التمثيل غير المقصود في البيانات أو النظم؛ واعتماد أساليب اختبار وعمليات تجريب قبل الإطلاق ديناميكية؛ وضمان إشراك المجموعات التي يحتمل أن تتضرر والخبراء الميدانيين كفاعلين يملكون سلطة اتخاذ القرار أثناء مراحل التصميم والاختبار والمراجعة؛ وإخضاع النظم للمراجعة من قبل خبراء مستقلين حيثما كان ذلك مؤاتياً. [8]

ج. إخضاع النظم لاختبارات وعمليات تدقيق بصورة منتظمة ومباشرة؛ وتفحص مؤشرات النجاح لمعرفة إذا ما كانت هناك أوجه تحيز وحلقات ردود الأفعال المحققة لذاتها؛ وضمان القيام بمراجعات كاملة ومستقلة للنظم في سياق ما تتسبب به من أضرار لحقوق الإنسان في البيئة الحية.

د. الكشف عن أوجه القصور المعروفة للنظام موضع البحث – وعلى سبيل المثال الإشارة إلى مقاييس الثقة، وإلى سيناريوهات القصور المعروفة ومحدودية الاستخدام المناسبة.

ضمان الشفافية والمساءلة .ii

32. يتعين على الدول ضمان المساءلة والحد الأقصى الممكن من الشفافية، واشتراطهما، لدى استخدام القطاع العام نظم التعلم الآلي. ويجب أن يتضمن ذلك قابلية التفسير والفهم في استخدام هذه التكنولوجيات بحيث يمكن تفحص تأثيرها على المتضررين من الأفراد والمجموعات على نحو فعال من قبل كيانات مستقلة، وتحديد المسؤوليات، وإخضاع الفاعلين للمساءلة. ولهذا الغرض، ينبغي على الدول:

أ. الكشف أمام الملأ عن مواقع استخدام نظم التعليم الآلي في المجال العام، وتقديم المعلومات التي تبيِّن بعبارات واضحة ومفهومة، كيفية التوصل إلى إجراءات صنع القرارات المتعلقة بالتعلم المؤتمت والآلي، وتوثيق التدابير التي تتخذ لتحديد التأثيرات التمييزية أو غيرها من التأثيرات الضارة بالحقوق، كما توثيق هذه التأثيرات والتخفيف منها.

ب. التمكين من إجراء التحليلات والإشراف بصورة مستقلة من خلال استخدام أنظمة يمكن إخضاعها لتدقيق.

ج. تجنب استخدام “نظم الصندوق الأسود” التي لا يمكن إخضاعها لمعايير ذي مغزى للمساءلة والشفافية، والامتناع عن استخدام مثل هذه النظم في جميع السياقات التي تتسم بالمخاطرة العالية. [9]

فرض الإشراف .iii

33. يتعين على الدول اتخاذ خطوات لضمان معرفة الموظفين العموميين بمخاطر التمييز وغيره من أوجه الضرر التي يمكن أن تلحق بالحقوق جراء استخدام نظم التعلم الآلي، ولتحسيسهم بمدى خطورة ذلك. ولذا ينبغي على الدول القيام بما يلي:

أ. المبادرة باعتماد إجراءات متنوعة للتوظيف والتشاور مع الآخرين لضمان تنوع المنظورات، بحيث يمثل من يشاركون في تصميم التعلم الآلي ويطبقونه ويراجعونه طيفاً عريضاً من الخلفيات والهويات.

ب. ضمان تنظيم الهيئات العامة دورات تدريبية في مضمار حقوق الإنسان وتحليل البيانات للمسؤولين عن شراء أدوات التعلم الآلي وتطويرها واستخدامها ومراجعتها.

ج. وضع آليات للإشراف المستقل، بما في ذلك من قبل السلطات القضائية، عندما يقتضي الأمر ذلك.

د. ضمان أن تتواءم القرارات المستندة إلى التعلم الآلي مع المعايير الدولية المقبولة للإجراءات الواجبة.

34. نظراً لقيادة القطاع الخاص للبحوث والتطوير لنظم التعلم الآلي إلى حد كبير، فإن الدول كثيراً ما تعتمد، في الممارسة العملية، على المتعاقدين الخاصين في تصميم هذه التكنولوجيات وتشغيلها في السياق العام. ويتعين على الدول، في مثل هذه الحالات، ألا تتخلى عن التزاماتها المتعلقة بمنع التمييز وضمان المساءلة وجبر الضرر عما يرتكب من إجحاف بحقوق الإنسان في تقديم الخدمات.

35. ينبغي على أية سلطة من سلطات الدولة التي تتولى شراء تكنولوجيات التعلم الآلي من القطاع الخاص أن تبقي على إجراءات مناسبة للإشراف والسيطرة على استخدام هذه النظم، وأن تطلب من طرف ثالث القيام بمهام الدأب الواجب للتعرف على أوجه التمييز وعلى غيرها من أشكال الضرر التي تلحق بحقوق الإنسان جراء هذا الاستخدام، ومنع هذا التمييز والتخفيف من وطأته، والإعلان أمام الملأ عما يبذل من جهود في هذا الصدد.

تعزيز المساواة

36. من واجب الدول المبادرة باتخاذ تدابير للقضاء على التمييز [10]

37. تظل إحدى أهم أولويات الدول، في سياق التعلم الآلي والتطورات التقنية الأوسع نطاقاً، تعزيز البرامج التي تغني التنوع والشمول والإنصاف في مجالات العلم والتكنولوجيا والهندسة والرياضيات (التي يشار إليها عموماً بمجالات العلوم والتكنولوجيا والهندسة والرياضيات STEM). وهذه الجهود ليست غاية في حد ذاتها، مع أنها يمكن أن تساعد في التخفيف من النتائج التمييزية. وينبغي على الدول كذلك الاستثمار في البحوث بشأن طرق الحد مما يلحق بحقوق الإنسان من أضرار جراء استخدام نظم التعلم الآلي.

إخضاع الجهات الفاعلة في القطاع الخاص للمساءلة

38. يكرِّس القانون الدولي بوضوح واجب الدول في حماية حقوق الإنسان؛ ويشمل هذا ضمان الحق في عدم التعرض للتمييز من جانب الجهات الفاعلة في القطاع الخاص.

39. طبقاً لرأي “لجنة الأمم المتحدة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية”، فإنه “يجب على الدول الأطراف أن تعتمد تدابير، بعضها تشريعية، لضمان عدم ممارسة أفراد وكيانات في المجال الخاص التمييـز لأسباب محظورة”. [11]

40. ينبغي على الدول إقرار تعليمات تتماشى مع قانون حقوق الإنسان بشأن الإشراف على استخدام القطاع الخاص للتعلم الآلي في السياقات التي تمثل مصدر خطر للتمييز أو غيره من النتائج الضارة بالحقوق، وأن تعترف بأن المعايير التقنية يمكن أن تشكِّل رافداً مكمِّلا لهذه التعليمات. وفضلاً عن ذلك، يمكن توسعة نطاق قوانين عدم التمييز وحماية البيانات والخصوصية، وسواها من مجالات القانون، على المستويين الوطني والإقليمي، لتشمل الالتزامات الدولية لحقوق الإنسان في مضمار التعلم الآلي وتعززها.

41. يتعين على الدول كفالة التماس جميع الأفراد الذين تنتهك حقوقهم أو تتعرض للإساءة من خلال استخدام هذه التكنولوجيات الانتصاف وجبر الضرر الفعالين.

مسؤوليات الجهات الفاعلة في القطاع الخاص: الدأب الواجب بشأن حقوق الإنسان

42. تتحمل الجهات الفاعلة في القطاع الخاص المسؤولية عن احترام حقوق الإنسان؛ وهذه المسؤولية قائمة على نحو مستقل عن التزامات الدولة. [12] وكجزء من تحقيق هذه المسؤولية، ينبغي على الجهات الفاعلة في القطاع الخاص المبادرة باتخاذ خطوات مستمرة تفاعلية لضمان ألا تتسبب بانتهاكات لحقوق الإنسان أو تسهم في ارتكابها- ويدعى هذا “الدأب الواجب بشأن حقوق الإنسان”. [13]

43. ينبغي على الجهات الفاعلة في القطاع الخاص التي تطور وتوزّع نظماً للتعلم الآلي أن تعمل بموجب إطار للدأب الواجب بشأن حقوق الإنسان لتجنب غرس بذور التمييز أو تجذّرها، وبغية تحقيق الاحترام لحقوق الإنسان على نطاق أوسع من خلال استخدام النظم الخاصة بها.

44. يتطلب الدأب الواجب بشأن حقوق الإنسان اتخاذ ثلاث خطوات أساسية:

i. تحديد النتائج التمييزية المحتملة
ii. اتخاذ تدابير فعالة لمنع التمييز وتخفيفه، وتعقب الاستجابات
iii. الشفافية بشأن الجهود المبذولة لتحديد ومنع أوجه التمييز في نظم التعلم الآلي والتخفيف من وطأتها.

i. تحديد النتائج التمييزية المحتملة

45. ينبغي على الجهات غير الحكومية والجهات الفاعلة في القطاع الخاص أن تجري، أثناء تطويرها وتوزيعها لأي تكنولوجيات جديدة للتعلم الآلي، عملية تقييم للمخاطر المتعلقة بالتمييز التي يمكن لهذه التكنولوجيات أن تولدها. ومن الطبيعي ألا تتساوى المخاطر والنتائج الضارة الناجمة عن التطبيقات المختلفة، والتدابير التي ينبغي اتخاذها للتصدي للتمييز سوف تعتمد على السياق. ويتعين على الجهات الفاعلة توخي الحرص وهي تقوم بتحديد ليس فحسب الأشكال المباشرة للتمييز، وإنما كذلك الأشكال غير المباشرة من المعاملة التفضيلية، التي يمكن أن تبدو للوهلة الأولى محايدة، ولكنها تفضي في نهاية المطاف إلى التمييز.

46. ينبغي على الجهات الفاعلة في القطاع الخاص أن تأخذ في الحسبان، أثناء تحديد المخاطر المحتملة، المخاطر التي ترافق في العادة استخدام نظم التعلم الآلي- ومنها، على سبيل المثال، أنظمة التدريب على البيانات غير المكتملة، أو غير التمثيلية، أو مجموعات البيانات التي تمثل تحيزاً تاريخياً أو منهجياً. وينبغي للجهات الفاعلة في القطاع الخاص التشاور مع الأطراف المعنية على نحو يفتح الأبواب لمساهمة الجميع، بما في ذلك الفئات المتضررة والمنظمات التي تعمل بشأن حقوق الإنسان، وبشأن المساواة والتمييز، وكذلك الخبراء المستقلون لحقوق الإنسان وخبراء التعلم الآلي.

ii. اتخاذ تدابير فعالة لمنع التمييز والحد منه، وتعقب الاستجابات

47. بعد تحديد المخاطر على حقوق الإنسان، تأتي الخطوة الثانية بمنع وقوع تلك المخاطر. ويتطلب هذا من واضعي نظم التعلم الآلي ما يلي:

أ) تصحيح تصميم النموذج وتأثير النظم، فيما يخص التمييز، وتصحيح القرارات المتعلقة بأي البيانات ينبغي استخدامها في التدريب بناء على ذلك.

ب) التماس التنوع والإنصاف وغيرهما من وسائل والتضمين في فرق تطوير التعلم الآلي بغرض تحديد أوجه التحيز التي ينطوي عليها التصميم ومنع التمييز غير المقصود.

ج) إخضاع النظم التي تنطوي على مخاطر كبيرة في أن تتسبب بانتهاكات لحقوق الإنسان لعمليات تدقيق من جانب أطراف ثالثة مستقلة.

48. حيثما يبيِّن التقييم أن مخاطر التمييز أو غيرها من الانتهاكات للحقوق شديدة للغاية أو يستحيل الحد منها، ينبغي ألا تشغّل الجهات الفاعلة في القطاع الخاص نظاماً للتعلم الآلي في ذلك السياق.

49. أحد العناصر الحيوية الأخرى لهذه الخطوة يتمثل في أن تتعقب الجهات الفاعلة في القطاع الخاص استجاباتها للمسائل التي تظهر للعيان أثناء التنفيذ ومع مرور الوقت، بما في ذلك تقييم الفعالية والاستجابات. ويتطلب ذلك اعتماد عمليات ضمان جودة منتظمة ومستمرة والتدقيق في الوقت الذي يتمّ فيه التصميم والفحص والتوزيع، بغية رصد التأثيرات التمييزية للنظام في السياق والأوضاع الفعليين، وتصحيح الأخطاء وأوجه الضرر كما هو مناسب. ولهذا أهميته الخاصة بالنظر إلى خطر حلقات ردود الفعل، التي يمكن أن تفاقم النتائج التمييزية وتؤدي إلى تجذرها.

iii. الشفافية بشأن الجهود المبذولة لتحديد ومنع أوجه التمييز في نظم التعلم الآلي والتخفيف من وطأتها.

50. الشفافية مكون أساسي للدأب الواجب بشأن حقوق الإنسان، وتشمل “التواصل، وتوفير قدْر من الشفافية والمساءلة لفائدة المتضررين من الأفراد أو الجماعات ومن الجهات المعنية الأخرى ذات الصلة”. [14]

51. ينبغي على الجهات الفاعلة في القطاع الخاص التي تطوّر وتشغل نظماً للتعلم الآلي أن تعلن ما تتخذه من إجراءات لتحديد المخاطر، والمخاطر التي تم تحديدها، والخطوات الملموسة التي اتخذت لمنع المخاطر على حقوق الإنسان التي تم تحديدها والحد منها. ولربما يشمل ذلك:

أ) الكشف عن المعلومات المتعلقة بالمخاطر وعن حالات بعينها من التمييز قامت الشركة بتحديدها، وعلى سبيل المثال المخاطر المرافقة للطريقة التي يجري بها تصميم نظام محدد للتعلم الآلي، أو لاستخدام نظم التعليم الآلي في سياقات محددة.

ب) في الحالات التي تنطوي على مخاطر بوقوع التمييز، نشر خصائص تقنية وتفاصيل حول نظام التعلم الآلي ووظائفه، بما في ذلك نشر عينات لبيانات التدريب المستخدمة والتفاصيل المتعلقة بمصدر هذه البيانات.

ج) وضع آليات لضمان إبلاغ الأطراف المعنية، بمن فيهم الأفراد المتضررون، حيثما يقع التمييز جراء استخدام نظام للتعلم الآلي، بالأضرار وبسبل الاعتراض على قرار أو نتيجة من النتائج.

الحق في الانتصاف الفعال

52. الحق في التماس العدالة عنصر حيوي من عناصر القانون الدولي لحقوق الإنسان. [15] فبموجب القانون الدولي، يتعين أن تتاح لضحايا انتهاكات حقوق الإنسان والإساءات إليها فرصة الانتصاف والتماس جبر الضرر على نحو سريع وفعال، كما يتوجب إخضاع أولئك المسؤولين عن الانتهاكات المساءلة.

53. وينبغي على الشركات والجهات الفاعلة في القطاع الخاص التي تتولى تصميم نظم التعلم الآلي وتشغيلها اتخاذ تدابير لضمان إتاحة الفرصة للأفراد والجماعات كي تلتمس الإنصاف وجبر الضرر الفعالين على نحو ذي مغزى. ولربما يشمل هذا، على سبيل المثال، إقرار إجراءات واضحة وشفافة ومستقلّة لجبر الضرر عقب تعرض الأفراد أو المجتمعات لآثار سلبية، وتحديد الأدوار في داخل الكيان المسؤول عن الإنصاف في الوقت المناسب لما يقع من ضرر فيما يخص هذه المسائل، وجعل القرارات التي تتخذ قابلة للطعن الفعال والمراجعة القضائية على نحو يسهل الوصول إليه.

54. قد يؤدي استخدام نظم التعلم الآلي في المواضع التي تتعرض فيها حقوق الأشخاص للخطر إلى ظهور تحديات تتطلب ضمان الحق في الانتصاف. ويترتب على غموض بعض النظم احتمال ألا يعرف الأفراد بطريقة اتخاذ القرارات التي تؤثر على حقوقهم، وفيما إذا كانت عملية اتخاذ القرار تمييزية. وفي بعض الحالات، قد تكون الهيئة العمومية أو الجهة الفاعلة في القطاع الخاص التي تتولى أمر نظم التعلم نفسها غير قادرة على توضيح عمليات اتخاذ القرارات.

55. تصبح التحديات حادة على نحو خاص عندما تستخدم نظم التعلم الآلي التي تقدم التوصيات أو تتخذ القرارات أو تنفذها في إطار نظام العدالة، أي في المؤسسات نفسها المسؤولة عن ضمان الحقوق، بما في ذلك الحق في الحصول على الانتصاف الفعال.

56. من شأن التدابير التي جرى تفصيلها فيما يتصل بتحديد أوجه التمييز وتوثيقها والرد عليها، وبالشفافية والمساءلة عن هذه الجهود، أن تساعد الدول على توفير الفرصة أمام الأفراد كي يلتمسوا الانتصاف الفعال. وبالإضافة إلى ذلك، ينبغي على الدول:

أ) ضمان أن يتم استخدام نظم التعلم الآلي، إذا ما تقرر إعمالها في القطاع العام، وفقاً لمعايير الإجراءات الواجبة.

ب) التصرف بحذر عند استخدام نظم التعلم الآلي في قطاع العدالة، بالنظر إلى المخاطر على عدالة المحاكمات وحقوق المتقاضين. [16]

ج) وضع معايير واضحة للمساءلة عن تطوير وتطبيق نظم التعلم الآلي، وتوضيح أي الهيئات أو الأفراد يتحمل المسؤولية القانونية عن القرارات التي تتخذ من خلال استخدام هذه النظم.

د) تقديم الجبر الفعال لضحايا الممارسات التمييزية المؤذية المرتبطة بنظم التعلم الآلي المستخدمة من قبل المؤسسات العامة والخاصة، بما في ذلك التعويض، الذي يمكن أن يشمل، بحسب ما هو مناسب، التعويض المالي ومعاقبة المسؤولين عن تلك الممارسات وضمانات عدم التكرار. ويمكن لهذا أن يتم بالاستعانة بالقوانين والأنظمة النافذة، وقد يقتضي سن قوانين وأنظمة جديدة لهذا الغرض.

خاتمة

57. يدعو الموقعون على هذا الإعلان إلى احترام الجهات الفاعلة في القطاعين العام والخاص التزاماتها ومسؤولياتها بمقتضى قانون ومعايير حقوق الإنسان، بغية تجنب التمييز في استخدام نظم التعلم الآلي، حيثما أمكن ذلك. ولدى ظهور أية مؤشرات على التمييز، يجب أن تكون التدابير لضمان الحق في الانتصاف الفعال وفي جبر الضرر موجودة.

58. ندعو الدول والجهات الفاعلة في القطاع الخاص إلى العمل يداً بيد، وإلى أن تقوم بدور نشط وملتزم بحماية الأفراد والجماعات من التمييز. ويتعين عليها، عند تطوير وتوزيع نظم التعلم الآلي، اتخاذ تدابير ذات مغزى لتعزيز المساءلة وحقوق الإنسان، بما في ذلك، دون حصر، الحق في المساواة وعدم التعرض للتمييز، طبقاً لالتزاماتها ومسؤولياتها بموجب القانون والمعايير الدوليين لحقوق الإنسان.

59. لا ينبغي للتطورات التكنولوجية أن تقوّض حقوق الإنسان. نحن على مفترق طرق يستدعي أن يتصرف أصحاب النفوذ الآن لحماية حقوق الإنسان، ولتقديم المساعدة من أجل صون الحقوق التي هي من حقّنا جميعاً الآن، ومن حق الأجيال المقبلة.

نشرت منظمة العفو الدولية ومنظمة أكساس ناو هذا الإعلان في 16 مايو/أيار 2018، وأُطلق في قمة رايتسكون 2018 – RightsCon 2018، التي انعقدت في تورونتو، بكندا.

أعضاء لجنة صياغة الإعلان
أنّا باشيارلي وجو وستبي، منظمة العفو الدولية
إستيل ماسي، ودرو متنك وفاني هيدفغي، جمعية أكساس ناو
بوي أديغوكي، مؤسسة المبادرة النموذجية في نيجيريا (Paradigm Initiative Nigeria)
فريديريكي كلثونور، مؤسسة الخصوصية الدولية الخيرية (Privacy International)
مالافيكا جايارام، مركز آسيا الرقمي (Digital Asia Hub)
ياسودارا كوردوفا، باحثة
سولون باروكاس، جامعة كورنيل
وليم إسحاق، مجموعة تحليل بيانات حقوق الإنسان

الحواشي

  1. لجنة الأمم المتحدة المعنية بحقوق الإنسان، إعلان وبرنامج عمل فيينا، 1993، http://www.ohchr.org/AR/ProfessionalInterest/Pages/Vienna.aspx
  2. مثال على ذلك، أنظر مبادئ FAT / ML للخوارزميات المسؤولة وبيان التأثير الاجتماعي للخوارزميات؛ مبادرة معهد مهندسي الكهرباء والإلكترونيات (IEEE) العالمية حول أخلاقيات الأنظمة المستقلة والذكية، التصميم الموائم للأخلاقيات؛ إعلان مونتريال من أجل تنمية مسؤولة للذكاء الاصطناعي؛ مبادئ أزيلومار للذكاء الاصطناعي Asilomar AI، التي وضعها معهد مستقبل الحياة (Future of Life Institute)..
  3. العهد الدولي الخاص بالحقوق الاقتصادية والاجتماعية والثقافية، المادة , 15 https://www.ohchr.org/AR/ProfessionalInterest/Pages/CESCR.aspx
  4. اللجنة المعنية بحقوق الإنسان التابعة للأمم المتحدة، التعليق العام رقم 18، UN Doc. HRI/GEN/1/Rev.9 Vol. I (1989)، الفقرة 7.
  5. مفوضيّة الأمم المتّحدة السامية لحقوق الإنسان، التصدي للتمييز ضد أفراد مجتمع الميم، معايير السلوك لقطاع الأعمال، https://www.unfe.org/standards/
  6. اللجنة المعنية بحقوق الإنسان التابعة للأمم المتحدة، التعليق العام رقم 18، UN Doc. RI/GEN/1/Rev.9 Vol. I (1989)، الفقرة 12.
  7. على سبيل المثال، “الاتفاقية الدولية للقضاء على جميع أشكال التمييز العنصري”، المادة 2(أ)، و”اتفاقية القضاء على جميع أشكال التمييز ضد المرأة”، المادة 2(د).
  8. وضع معهد الذكاء الاصطناعي الآن – معهد آي آي ناو – AI Now Institute إطاراً عملياً لتقييمات التأثير الخوارزمي من قبل الهيئات العامة، https://ainowinstitute.org/aiareport2018.pdf. وتشترط المادة 35 من “اللائحة العامة لحماية البيانات” (GDPR) الخاصة بالاتحاد الأوروبي إجراء ” تقييم تأثير حماية البيانات” (DPIA)؛ وفضلاً عن ذلك، تقتضي المادة 25 من “اللائحة العامة لحماية البيانات” تطبيق مبادئ حماية البيانات من عمداً وتلقائياً، ابتداء من مرحلة وضع التصورات للمنتج أو الخدمة أو النظم، وعلى امتداد تقديم الخدمة وحياة المنتَج.
  9. معهد الذكاء الاصطناعي الآن – معهد آي آي ناو- AI Now Institute التابع لجامعة نيويورك، تقريرAI Now 2017، 2017، https://ainowinstitute.org/AI_Now_2017_Report.pdf
  10. تؤكد “اللجنة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية” التابعة للأمم المتحدة، على أنه “بالإضافة إلى الامتناع عن الأفعال التمييزية، ينبغي للدول الأطراف أن تتخذ تدابير ملموسة ومدروسة ومحـددة الأهداف لضمان القضاء على التمييز في ممارسة الحقوق المنصوص عليها في العهد”- اللجنة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية، التعليق العام رقم 20، UN Doc. E/C.12/GC/20 (2009)، الفقرة 36.
  11. اللجنة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية، التعليق العام 20، UN Doc. E/C.12/GC/20 (2009)، الفقرة 11.
  12. انظر “مبادئ الأمم المتحدة التوجيهية بشأن الأعمال التجارية وحقوق الإنسان” ووثائق مرجعية إضافية.
  13. انظر توصية المجلس الأوروبي رقم CM/Rec(2018)2 المقدمة من اللجنة الوزارية إلى الدول الأعضاء بشأن الأدوار والمسؤوليات لوسطاء الإنترنت، https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=0900001680790e14
  14. “مبادئ الأمم المتحدة التوجيهية بشأن الأعمال التجارية وحقوق الإنسان”، المبدأ 21.
  15. انظر، على سبيل المثال: الإعلان العالمي لحقوق الإنسان، المادة 8؛ و”العهد الدولي الخاص بالحقوق المدنية والسياسية”، المادة 2(3)؛ و”العهد الدولي الخاص بالحقوق الاقتصادية والاجتماعية والثقافية”، المادة 2؛ و”اللجنة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية”، التعليق العام رقم 3: طبيعة التزامات الدول الأطراف(المادة 2، الفقرة 1 من العهد ) UN Doc. E/1991/23 (1990) ؛ “الاتفاقية الدولية للقضاء على جميع أشكال التمييز العنصري”، المادة 6؛ “اتفاقية القضاء على جميع أشكال التمييز ضد المرأة” المادة 2 و”لجنة الأمم المتحدة المعنية بالحقوق الاقتصادية والاجتماعية والثقافية”، ، التعليق العام رقم 9: التطبيق المحلي للعهد، E/C.12/1998/24 (1998)، l http://www.refworld.org/docid/47a7079d6.html
  16. انظر، على سبيل المثال: جوليا أنغوين، وجف لارسون، وسوريا ماتو، ولورين كيرشنير لبرو ببليكا ProPublica (تحيز الآلة – Machine Bias)، 2016، https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing