تحقیقات اخیر نشان می‌دهد موتورهای جستجوی جایگزین، دیگر قادر به نمایش نتایج ردیت نیستند. این اتفاق مدت کوتاهی پس‌از امضای توافق گوگل و ردیت رخ داد. اکنون براساس اعلام مایکروسافت، ردیت موتور جستجوی بینگ را مسدود کرده است.

سخنگوی مایکروسافت به وب‌سایت Search Engine Land گفت: «ما به استاندارد robots.txt احترام می‌گذاریم. پس‌از اعمال به‌روزرسانی فایل robots.txt ردیت در اولین روز جولای (۱۱ تیر ۱۴۰۳)، بینگ عملیات کرال وب‌سایت مذکور را متوقف کرده است.»

وب‌سایت‌ها با پروتکل robots.txt تعیین می‌کنند که خزنده‌های وب مثل خزنده‌های موتورهای جستجو به کدام صفحات آن‌ها دسترسی داشته باشند؛ البته این پروتکل‌ها الزام‌آور نیستند و بر اساس اعتماد عمل می‌کنند.

اگر وب‌سایتی با آپدیت فایل robots.txt خود درخواست کند که خزنده‌های وب و موتورهای جستجوی خاص به آن دسترسی نداشته باشند، از نظر فنی هیچ مانعی برای خزنده‌ها ایجاد نمی‌شود. مایکروسافت در این مورد درخواست ردیت را پذیرفت، اما اخیراً مشخص شد که خزنده‌ی مرتبط با موتور جستجوی هوش مصنوعی Perplexity درخواست‌های یک ناشر را نادیده گرفته است.

درخواست ردیت حدود یک ماه پس‌از آن مطرح شد که این شرکت برای اولین‌بار برنامه‌های خود را برای به‌روزرسانی فایل robots.txt تأیید کرد. ردیت گفت دلیل اینکار افزایش چشمگیر موجودیت‌های تجاری آشکاری است که اطلاعات این وب‌سایت را استخراج می‌کنند. البته طبق توافق ردیت با گوگل، این موتور جستجو می‌تواند از محتوایی که کاربران در ردیت تولید کرده‌اند برای آموزش هوش مصنوعی خود استفاده کند.

سخنگوی ردیت می‌گوید: «مسدودسازی دسترسی موتورهای جستجوی جایگزین به ردیت به‌هیچ‌وجه با همکاری اخیر ما با گوگل ارتباط ندارد. با چندین موتور جستجو درحال مذاکره بودیم و با همه‌ی آن‌ها به توافق نرسیدیم، زیرا برخی از شرکت‌ها در‌مورد استفاده از محتوای ردیت از‌جمله استفاده برای آموزش مدل‌های هوش مصنوعی، قادر یا مایل به ارائه‌ی وعده‌های قابل‌ اجرا نیستند.»

به‌هرحال، این سؤال جدی مطرح می‌شود که اگر ردیت با گوگل به توافق نمی‌رسید، آیا در وهله‌ی اول همه‌ی موتورهای جستجو را مسدود می‌کرد؟ این توافق همچنین نگرانی‌هایی را درباره‌ی شیوه‌های انحصارطلبانه‌ی گوگل ایجاد کرده است.