Leo AI و Olama در حال آوردن RTX Local LLM به مرورگر Brave هستند

یادداشت سردبیر: این پست بخشی از سری رمزگشایی هوش مصنوعیکه هوش مصنوعی را با در دسترس‌تر کردن فناوری، نمایش سخت‌افزار، نرم‌افزار، ابزار و شتاب‌دهنده‌های جدید برای کاربران رایانه‌های شخصی GeForce RTX و NVIDIA RTX، از بین می‌برد.

از بازی‌ها و برنامه‌های تولید محتوا گرفته تا ابزارهای توسعه نرم‌افزار و بهره‌وری، هوش مصنوعی به طور فزاینده‌ای در برنامه‌ها ادغام می‌شود تا تجربیات کاربر را افزایش دهد و کارایی را افزایش دهد.

این بهبودهای کارایی به کارهای روزمره مانند مرور وب نیز گسترش می یابد. Brave، یک مرورگر وب متمرکز بر حریم خصوصی، اخیراً دستیار هوشمند مبتنی بر هوش مصنوعی به نام Leo AI راه اندازی کرده است که علاوه بر ارائه نتایج جستجو، به کاربران کمک می کند مقالات و ویدیوها را خلاصه کنند، اطلاعات بینش را از اسناد استخراج کنند، به سؤالات پاسخ دهند و موارد دیگر.

فناوری پشت Brave و سایر ابزارهای مبتنی بر هوش مصنوعی ترکیبی از سخت‌افزار، کتابخانه‌ها و نرم‌افزار اکوسیستم است که برای رفع نیازهای منحصر به فرد هوش مصنوعی بهینه شده است.

چرا نرم افزار مهم است

پردازنده‌های گرافیکی NVIDIA از هوش مصنوعی در سطح جهانی، چه در یک مرکز داده یا یک رایانه محلی در حال اجرا باشد، قدرت می‌دهند. این شامل هسته‌های Tensor است که به طور خاص برای تسریع برنامه‌های هوش مصنوعی مانند هوش مصنوعی Leo از طریق پردازش اعداد موازی بسیار طراحی شده‌اند – به‌جای انجام آن‌ها یکی پس از دیگری، تعداد زیادی از محاسبات مورد نیاز برای هوش مصنوعی را به‌سرعت پردازش می‌کنند.

اما سخت افزار عالی تنها زمانی اهمیت دارد که برنامه ها بتوانند به طور موثر از آن بهره ببرند. نرم افزاری که در بالای پردازنده های گرافیکی اجرا می شود برای ارائه سریع ترین و پاسخگوترین تجربه هوش مصنوعی بسیار مهم است.

لایه اول کتابخانه استنتاج هوش مصنوعی است که به عنوان مترجمی عمل می کند که درخواست ها را برای وظایف مشترک هوش مصنوعی دریافت می کند و آنها را به دستورالعمل های خاص برای کار با سخت افزار تبدیل می کند. کتابخانه های استنباط معروف عبارتند از TensorRT NVIDIA، DirectML مایکروسافت، و کتابخانه ای که توسط Brave و Leo AI از طریق Ollama استفاده می شود، به نام llama.cpp.

Llama.cpp یک کتابخانه و چارچوب متن باز است. از طریق CUDA – API NVIDIA که توسعه دهندگان را قادر می سازد تا GPU های GeForce RTX و NVIDIA RTX را بهینه کنند – شتاب Tensor Core را برای صدها مدل، از جمله مدل های محبوب زبان بزرگ (LLM) مانند Gemma، Llama 3، Mistral و Phi فراهم می کند.

در بالای کتابخانه استنتاج، برنامه های کاربردی اغلب از یک سرور استنتاج محلی برای ساده سازی فرآیند یکپارچه سازی استفاده می کنند. سرور استنتاج وظایفی مانند دانلود و پیکربندی مدل‌های هوش مصنوعی خاص را انجام می‌دهد تا برنامه مجبور به انجام این کار نباشد.

Ollama یک پروژه منبع باز است که در بالای llama.cpp قرار دارد و دسترسی به ویژگی های کتابخانه را فراهم می کند. از اکوسیستمی از برنامه‌های کاربردی پشتیبانی می‌کند که قابلیت‌های هوش مصنوعی بومی را ارائه می‌کنند. در سراسر پشته فناوری، NVIDIA در حال بهبود ابزارهایی مانند Olama برای سخت‌افزار NVIDIA است تا تجربیات هوش مصنوعی سریع‌تر و پاسخگوتر را در RTX ارائه دهد.

تمرکز NVIDIA بر روی بهینه‌سازی به کل پشته فناوری – از سخت‌افزار گرفته تا نرم‌افزار سیستم گرفته تا کتابخانه‌های استنتاج و ابزارهایی که برنامه‌ها را قادر می‌سازد تا تجربیات هوش مصنوعی سریع‌تر و پاسخگوتر را در RTX ارائه دهند، گسترش می‌یابد.

در محل در مقابل ابر

هوش مصنوعی Brave's Leo می تواند در فضای ابری یا به صورت محلی روی رایانه از طریق Olama اجرا شود.

مزایای زیادی برای پردازش استنتاج با استفاده از یک مدل محلی وجود دارد. با ارسال نکردن ادعاها به سرور خارجی برای پردازش، تجربه خصوصی و همیشه در دسترس است. برای مثال، کاربران Brave می‌توانند بدون ارسال چیزی به فضای ابری، در مورد مسائل مالی یا پزشکی خود کمک بگیرند. اجرای محلی نیاز به پرداخت هزینه دسترسی نامحدود به ابر را نیز از بین می برد. با Ollama، کاربران می توانند از طیف وسیع تری از مدل های منبع باز نسبت به اکثر سرویس های میزبانی شده استفاده کنند، که اغلب تنها یک یا دو نوع از یک مدل هوش مصنوعی را پشتیبانی می کنند.

کاربران همچنین می‌توانند با فرم‌های تخصص‌های مختلف، مانند فرم‌های دوزبانه، فرم‌های کوچک، فرم‌های تولید کد و غیره تعامل داشته باشند.

فناوری RTX هنگام اجرای AI به صورت محلی، تجربه ای پاسخگو را امکان پذیر می کند. با استفاده از مدل Llama 3 8B با llama.cpp، کاربران می‌توانند انتظار پاسخ‌هایی تا 149 توکن در ثانیه یا تقریباً 110 کلمه در ثانیه داشته باشند. وقتی از Brave با هوش مصنوعی Leo و Olama استفاده می‌کنید، به معنای دریافت پاسخ سریع به سؤالات، درخواست‌های خلاصه محتوا و موارد دیگر است.

با Brave با Leo AI و Olama شروع کنید

نصب Olama آسان است — نصب کننده را از وب سایت پروژه دانلود کنید و اجازه دهید در پس زمینه اجرا شود. از طریق خط فرمان، کاربران می توانند طیف گسترده ای از قالب های پشتیبانی شده را دانلود و نصب کنند و سپس با الگوی محلی از خط فرمان تعامل داشته باشند.

برای دستورالعمل های ساده در مورد نحوه افزودن پشتیبانی محلی LLM از طریق Ollama، وبلاگ شرکت را بخوانید. هنگامی که Leo AI برای اشاره به Olama پیکربندی شد، از نرم افزار LLM میزبانی محلی برای ادعاها و پرس و جوها استفاده می کند. کاربران همچنین می‌توانند در هر زمانی بین مدل‌های ابری و داخلی جابجا شوند.

توسعه‌دهندگان می‌توانند درباره نحوه استفاده از Olama و llama.cpp در وبلاگ فنی NVIDIA اطلاعات بیشتری کسب کنند.

هوش مصنوعی مولد بازی، کنفرانس ویدیویی و تجربیات تعاملی از هر نوع را متحول می کند. با مشترک شدن، چیزهای جدید و آینده را درک کنید خبر رمزگشایی شده توسط هوش مصنوعی.