رفعت إحدى الأمهات في فلوريدا مؤخراً دعوى قضائية ضد منصة Character.AI، وهي منصة للدردشة الآلية تعمل بالذكاء الاصطناعي، مدعيةً أنها لعبت دوراً في الوفاة المأساوية لابنها سيويل سيتزر الثالث البالغ من العمر 14 عاماً. وفقاً لميغان غارسيا، كان ابنها يتراسل مع روبوت دردشة على منصة Character.AI قبل لحظات فقط من وفاته منتحراً في فبراير. وتقول غارسيا إن افتقار المنصة لإجراءات الحماية سمح لابنها بالانخراط في محادثات مقلقة ساهمت في وفاته في نهاية المطاف.
تقدم شركة Character.AI للمستخدمين فرصة إجراء محادثات تفاعلية مفصلة وتفاعلية مع روبوتات الدردشة الآلية التي تم تصميم العديد منها على غرار المشاهير والشخصيات الخيالية أو التي أنشأها المستخدمون خصيصًا. وتعتقد غارسيا أن منتج Character.AI، الذي يتم تسويقه على أنه “ذكاء اصطناعي يشعر بالحياة”، يفشل في توفير آليات أمان كافية لمنع التفاعلات غير المناسبة أو الضارة، خاصةً للمستخدمين الصغار. وتشير إلى تفاعل ابنها المكثف مع الروبوت والتغيرات السلوكية التدريجية التي طرأت عليه بعد بدء استخدام المنصة كدليل على تأثيرها. وتؤكد أنه كان ينبغي على المنصة أن تطبق تدابير لمنع المستخدمين من التعلق المفرط أو الإدمان على روبوتات الدردشة الخاصة بها.
في الدعوى القضائية، توضح غارسيا بالتفصيل كيف أصبح ابنها منطويًا على نفسه بشكل متزايد بعد أن بدأ في استخدام Character.AI في أبريل 2023، بعد وقت قصير من عيد ميلاده الرابع عشر. وتصف كيف أنه أمضى وقتًا أطول بمفرده، وعانى من تدني احترامه لذاته، وفي النهاية ترك فريق كرة السلة للناشئين. وبسبب قلقها من سلوكه، قامت غارسيا وزوجها بتقييد وقت استخدام سيتزر للشاشة، وأحيانًا كانا يأخذان هاتفه بعيدًا عنه. ومع ذلك، لم يكونا على دراية بمدى وطبيعة تفاعله مع روبوتات الدردشة الشخصية.
تدعي الدعوى القضائية أيضًا أن بعض محادثات سيتزر مع روبوتات الدردشة الشخصية كانت جنسية صريحة. هذه المحادثات، وفقًا لغارسيا، من المحتمل أن تثير قلق أي والد، نظرًا لمحتوى وطبيعة التبادلات. بالإضافة إلى الألفاظ غير اللائقة، تزعم الدعوى أن الروبوت استجاب لتعبيرات سيتزر عن إيذاء النفس والأفكار الانتحارية دون تقديم إرشادات ذات مغزى أو إعادة توجيهه إلى موارد الصحة العقلية. يُقال إن لقطات الشاشة المقدمة في الشكوى تُظهر الروبوت وهو ينخرط في محادثات حول الانتحار مع ردود تفتقر، من وجهة نظر غارسيا، إلى الضمانات اللازمة.
تطالب الدعوى القضائية بتعويضات مالية غير محددة، والأهم من ذلك تغيير ممارسات Character.AI لحماية المستخدمين الصغار بشكل أفضل. وتأمل غارسيا أن تدفع القضية شركة Character.AI إلى إضافة تحذيرات واضحة للقاصرين وأولياء الأمور وتعزيز سياسات الإشراف على المحتوى. وتذكر الدعوى القضائية أيضًا اسم مؤسسي Character.AI وعملاق التكنولوجيا Google، على الرغم من أن ممثل Google صرح بأن الشركة لم تشارك في تطوير Character.AI.
استجابت شركة Character.AI لهذه المأساة بالتعبير عن حزنها الشديد والتأكيد على التزامها بسلامة المستخدمين. وقد قدمت الشركة العديد من ميزات السلامة الجديدة في الأشهر الأخيرة، بما في ذلك نافذة منبثقة توجه المستخدمين إلى الخط الوطني لمنع الانتحار كلما تم اكتشاف مصطلحات إيذاء النفس في المحادثات. كما أنها طبقت أدوات لاكتشاف المحتوى الذي يُحتمل أن يكون حساساً أو موحياً وتحديث تنويهات إخلاء المسؤولية لتذكير المستخدمين بأنهم يتفاعلون مع ذكاء اصطناعي وليس مع شخص حقيقي. تقوم المنصة الآن بإخطار المستخدمين بعد قضاء ساعة على الموقع، مما يشجعهم على أخذ فترات راحة. وعلى الرغم من هذه التغييرات، تؤكد غارسيا أن تدابير السلامة “قليلة جداً ومتأخرة جداً”.
لا يزال مجال سلامة الذكاء الاصطناعي في مراحله الأولى، حيث تكافح العديد من الشركات لوضع معايير وحواجز حماية فعالة. واستجابةً للمخاوف المتزايدة، ذكرت شركة Character.AI أنه على الرغم من أنها قد لا “لا تقوم بذلك بشكل صحيح دائماً”، إلا أنها ملتزمة بتعزيز السلامة وتجنب إلحاق الضرر بمستخدميها. وقد حددت الشركة الحد الأدنى لسن المستخدم حاليًا بـ 13 عامًا على موقعها الإلكتروني، على الرغم من أن تقييمات متجر التطبيقات تشير إلى أنها مناسبة بشكل أفضل للمراهقين الأكبر سنًا.
ويمثل غارسيا ماثيو بيرغمان، المحامي المؤسس لمركز قانون ضحايا وسائل التواصل الاجتماعي، الذي دعم العائلات المتضررة من منصات أخرى مثل ميتا وتيك توك، وهو المحامي الذي يمثل غارسيا. ينظر بيرجمان إلى الدعوى القضائية كجزء من اتجاه أكبر، واصفًا الذكاء الاصطناعي بأنه “وسائل التواصل الاجتماعي على المنشطات” ويسلط الضوء على مخاطره على المستخدمين الشباب سريعي التأثر. ووفقًا لبيرغمان، على عكس وسائل التواصل الاجتماعي التقليدية، فإن التفاعلات في هذه القضية تم تشكيلها بشكل فريد وتوسطت فيها شركة Character.AI، مما خلق تفاعلًا شخصيًا للغاية ربما ساهم في وفاة سيتزر.
تؤكد هذه القضية على المخاطر المحتملة لتقنيات الذكاء الاصطناعي الناشئة، خاصةً عندما تصبح في متناول المستخدمين الصغار. قد لا يكون الآباء والأمهات مثل غارسيا، الذين كانوا ينظرون في البداية إلى Character.AI على أنها غير ضارة، غير مدركين للطبيعة المكثفة والمثيرة للمشاكل في بعض الأحيان للتفاعلات التي يمكن أن تحدث لأطفالهم على هذه المنصات. وتعتقد غارسيا أن جهود Character.AI لتعزيز ميزات السلامة بعد وفاة ابنها تسلط الضوء على الحاجة إلى مزيد من التدابير الاستباقية، خاصة عندما يتعلق الأمر بحماية القاصرين.
مع استمرار تطور منصات الذكاء الاصطناعي في التطور، يمكن أن تؤثر نتيجة هذه القضية على بروتوكولات ولوائح السلامة المستقبلية. لا تزال غارسيا ثابتة في اعتقادها بأن الأطفال لا ينبغي أن يتمكنوا من الوصول إلى منصات مثل Character.AI دون وجود حواجز وقائية كبيرة. تضيف هذه القضية إلى المناقشات الجارية حول تحقيق التوازن بين فوائد الذكاء الاصطناعي والحاجة إلى التنفيذ المسؤول والأخلاقي – خاصة في المنتجات التي يمكن للمستخدمين الصغار والضعفاء الوصول إليها.
