رونمایی Roblox از سیستم هوش مصنوعی Sentinel برای محافظت از کودکان در فضای مجازی

به گزارش gsxr و به نقل از تک کرانچ، Roblox که یکی از محبوب‌ترین پلتفرم‌های بازی آنلاین برای کودکان و نوجوانان است، نسخه‌ای متن‌باز از این سیستم هوش مصنوعی را عرضه کرده تا امکان شناسایی پیش‌دستانه زبان فریبنده در چت‌های بازی فراهم شود. این اقدام در حالی صورت می‌گیرد که شرکت طی سال‌های اخیر با شکایات و انتقاداتی مبنی بر عدم محافظت کافی از کاربران کم‌سن خود در برابر شکارچیان اینترنتی مواجه بوده است.

بر اساس شکایات مطرح‌شده، برخی ویژگی‌های طراحی Roblox باعث شده کودکان در معرض خطر بیشتری قرار گیرند و به طعمه‌ای آسان برای سوءاستفاده‌گران تبدیل شوند. این شرکت تأکید دارد که تلاش می‌کند ساختارهای امنیتی را به‌گونه‌ای طراحی کند که به‌صورت پیش‌فرض بیشترین سطح ایمنی را فراهم آورند؛ با این حال، اذعان می‌کند که یکی از بزرگ‌ترین چالش‌ها، شناسایی زودهنگام تهدیدات جدی علیه کودکان است.

سامانه Sentinel با هدف تشخیص سریع نشانه‌های قرار گرفتن کودکان در معرض خطر، از جمله استفاده از صحبت‌های استثمارگرانه، توسعه یافته است. Roblox اعلام کرده که این سیستم تنها در نیمه نخست سال ۲۰۲۵ موفق شد یک‌هزار و دویست مورد گزارش مرتبط با سوءاستفاده احتمالی از کودکان را به مراجع ذی‌صلاح ارسال کند.
 

این شرکت همچنین در حال فراهم‌سازی شرایطی است که سایر پلتفرم‌ها نیز بتوانند از این فناوری بهره‌مند شوند. به گفته مسئولان Roblox، تشخیص خطرات بالقوه در مراحل اولیه، حتی برای سامانه‌های هوش مصنوعی و ناظران انسانی، فرآیندی دشوار است؛ چرا که برخی پرسش‌ها مانند «چند سالته؟» یا «اهل کجا هستی؟» ممکن است به‌ظاهر بی‌ضرر به نظر برسند، اما در بستر یک مکالمه طولانی می‌توانند معنای نگران‌کننده‌ای پیدا کنند.

Roblox که بیش از ۱۱۱ میلیون کاربر فعال ماهانه دارد، به کاربران اجازه ارسال ویدئو یا تصویر در محیط چت را نمی‌دهد و به‌طور پیش‌فرض تلاش می‌کند اطلاعات شخصی نظیر شماره تلفن را مسدود کند. با وجود این، همچون بسیاری از پلتفرم‌ها، برخی کاربران موفق می‌شوند راه‌هایی برای دور زدن این محدودیت‌ها پیدا کنند.

همچنین، کودکان زیر ۱۳ سال تنها با رضایت والدین می‌توانند خارج از محیط بازی با سایر کاربران گفت‌وگو کنند. برخلاف بسیاری از شبکه‌های اجتماعی دیگر، Roblox مکالمات خصوصی را رمزگذاری نمی‌کند تا امکان نظارت و کنترل بر آن‌ها فراهم باشد.