محققان اپل اخیرا هوش‌مصنوعی RealM  را که قابلیت درک و پردازش محتوای صفحه نمایش را دارد، معرفی کردند. این سیستم جدید داده‌های صفحه نمایش گوشی، محتوای مکالمات و تصاویر را درک می‌کند و با قدرت فوق‌العاده‌ی خود در درک و پاسخ به دستورات،تحول بزرگی در دنیای دستیاران صوتی و تعامل انسان و ماشین ایجاد کرده‌است. هوش مصنوعی RealM با ویژگی‌های قدرتمندی همچون تفسیر عبارات زبانی و عملکرد خوبی که در تعیین زمینه دارد رقیبی سرسخت برای GPT-4 شناخته می‌شود.

این سیستم می‌تواند در زمینه‌های مختلفی مانند دستیاران صوتی، ربات‌های چت، سیستم‌های ترجمه ماشینی و حتی خودرو‌های خودران، انقلاب بزرگی ایجاد کند. سیستم هوشمند RealM  مخفف “Reference Resolution As Language Modeling”   به معنای مدلسازی زبانی با وضوح ارجاع است. این مدل هوش‌مصنوعی که قرار است با iOS18 عرضه شود عملکرد بسیار فراتر از مدل‌های قبلی را دارد. این هوش‌مصنوعی جدید همچنین ابزاری قدرتمند برای هنرمندان و خلاقانی است که به دنبال جابجایی مرزهای خلاقیت خود هستند و با استفاده از آن می‌توان آثار هنری فوق‌العاده‌ای را خلق کرد.

هوش مصنوعی RealM

تاثیرات هوش‌ مصنوعی RealM  اپل برای توسعه دستیار صوتی پیشرفته

محققان اپل در مقالات خود بیان کرده‌اند این هوش مصنوعی از چندین ورودی و داده‌های گوشی برای ارتباط طبیعی‌تر با کاربر استفاده می‌کند. اولین مورد، On-screen Entities  که داده های صفحه نمایش گوشی می‌باشد و این سیستم آنچه را که کاربر می‌بیند را مشاهده و درک می‌کند. دومین موضوع، Conversational Entities  که داده‌های مکالمه می‌باشد این سیستم با توجه به اطلاعات گوشی و مکالمات کاربر می‌تواند کارهای او را انجام دهد. به طور مثال زمانی که می‌گوید Call Dad (به پدر زنگ بزن) مخاطبی که با نام Dad ذخیره‌شده‌است، مد نظر خواهد بود. سومین مورد، Background Entities که محتواهای مرتبطی که از فرایندهای پس‌زمینه به دست می‌آیند. این هوش‌مصنوعی با شنیدن موسیقی که در پس زمینه دستگاه  پخش می‌شود و یا صدای زنگ ساعت می‌تواند تعامل موثرتری با کاربر داشته‌باشد.

مقایسه این سیستم قدرتمند با رقیب سرسختش  GPT-4

RealM ( یک مدل زبان کوچک SLM) است، به طور طبیعی در مقایسه با LLM هایی همچون Gemini Pro  ، Gemini Ultra ، GPT-4 و سایرین بسیار کوچک است. این به این دلیل است که بر خلاف راه‌‌‌‌اندازی یک پلتفرم مولد AI، RealM سایر مدل‌های AI را با زمینه ارائه می‌کند. مدل Chat GPT-4 می‌تواند اطلاعات تصاویر و PDF را تجزیه تحلیل کند و بخواند، اما نمی‌تواند صفحه نمایش کاربر را بخواند. درحالی که RealM می‌تواند اطلاعات روی تصاویر، متن‌ها را بخواند و اطلاعات را از روی اسکرین‌شات کاربران استخراج کند. این سیستم با توجه به دیتایی که دریافت می‌کند می‌تواند به سوالات کاربران پاسخ دهد و حتی کارهای مختلفی را اجرا کند. این قابلیت‌ها تجربه جدید و قابل توجه در دنیای هوش مصنوعی است.

این کمپانی درمورد عملکرد هوش‌مصنوعی RealM گفته‌است: « ما پیشرفت های بسیاری نسبت به یکی از سیستم های موجود با عملکرد مشابه داریم، به طوری که کوچک‌ترین مدل ما، برای پیش‌بینی مواردی که روی نمایشگر دیده‌می‌شوند، به طور مطلق حدود 5 درصد بهتر است. همچنین کارکرد هوش‌مصنوعی خود را در برابر GPT-3.5 و GPT-4 مورد ارزیابی قرار داده‌ایم. این عملکرد نشان داد کوچک‌ترین مدل ما عملکردی در سطح GPT-4 دارد و مدل‌های بزرگ‌تر ما با اختلاف قابل توجهی از آن پیشی می‌گیرند.

این کمپانی در پایان صحبت خود اشاره کرده‌است که RealM عملکرد بهتری نسبت به مدل‌های قبلی دارد و عمکردی بسیار مشابه به بهترین مدل زبانی بزرگ جهان یعنی GPT-4 دارد. این سیستم با توجه به این که از پارامترهای بسیار کمتری بهره می‌برد، نسبت به GPT-4 عملکرد بالاتری دارد.

قابلیت های قدرتمند هوش‌مصنوعی RealM

 

درک محتوای صفحه‌نمایش: 

این هوش‌مصنوعی به طور فوق‌العاده می‌تواند اطلاعات زمینه‌ای، موضوع گفتگو و محتوای روی صفحه نمایش را درک کند. همچنین می‌تواند دستورات کاربر را با دقت و ظرافت بی‌نظیر اجرا کند.

سرعت و کارایی بالا RealM :

این هوش‌مصنوعی قدرتمند با سرعت و کارایی بسیار بالا می‌تواند دستورات کاربر را پردازش کند و به طور لحظه‌ای به آن‌ها پاسخ می‌دهد.

پاسخ‌های درست و دقیق RealM :

این سیستم به سوالات کاربر پاسخ دقیق و به‌جا می‌دهد. همچنین به ظرافت‌های زبانی و لحن کاربر دقت می‌کند.

نتیجه

کمپانی اپل  پیشرفت های فوق‌العاده‌ای  در زمینه هوش‌مصنوعی دارد و تجارب جالبی را برای کاربر در حوزه‌های مختلف، از سیستم‌های سرگرمی اطلاعاتی خودرو گرفته تا ویژگی‌های دسترسی برای کاربران دارای معلولیت، ارائه‌می‌دهد. از آنجا که اپل به نوآوری در هوش‌مصنوعی ادامه می‌دهد، رقبا احتمالا با فشارهای شدیدی روبرو خواهند شد تا با پیشرفت‌هایی که در این زمینه به وجود آمده‌است، مطابقت داشته‌باشند یا از آن‌ها پیش بگیرند. این شرکت در شکل‌دادن به آینده فناوری تاکید‌می‌کند.