موفقیت بعدی برای تسخیر دنیای هوش مصنوعی ممکن است ژنراتورهای مدل سه بعدی باشد. این هفته OpenAI منبع باز Point-E، یک سیستم یادگیری ماشینی است که یک شی 3 بعدی با یک پیام متنی ایجاد می کند. بر اساس سندی که با پایگاه کد منتشر شده است، Point-E می تواند مدل های سه بعدی را در 1 تا 2 دقیقه بر روی یک واحد گرافیکی Nvidia V100 تولید کند.
Point-E اشیاء سه بعدی را به معنای سنتی ایجاد نمی کند. در عوض، ابرهای نقطه‌ای یا مجموعه‌ای از نقاط داده در فضا را تولید می‌کند که یک شکل سه‌بعدی را نشان می‌دهند – از این رو مخفف گستاخانه است. (“E” در Point-E مخفف “کارایی” است زیرا ظاهراً سریعتر از رویکردهای قبلی برای تولید اشیاء سه بعدی است.) ابرهای نقطه ای از نظر محاسباتی آسان تر ترکیب می شوند، اما آنها شکل یا بافت اشیاء دانه دانه ریز را نمی گیرند – یک کلید. محدودیت نقطه E در حال حاضر.
برای دور زدن این محدودیت، تیم Point-E یک سیستم هوش مصنوعی اضافی را برای تبدیل ابرهای نقطه ای به شبکه آموزش داد. (مش‌ها – مجموعه‌ای از رئوس، لبه‌ها و چهره‌هایی که یک شی را تعریف می‌کنند – معمولاً در مدل‌سازی و طراحی سه‌بعدی استفاده می‌شوند.) اما آنها در مقاله خاطرنشان می‌کنند که مدل گاهی اوقات می‌تواند قسمت‌های خاصی از اشیاء را از دست بدهد و در نتیجه شکل‌های بلوک یا مخدوش ایجاد شود. .
اعتبار تصویر: OpenAI
خارج از مدل تولید مش که مستقل است، Point-E از دو مدل تشکیل شده است: مدل متن به تصویر و مدل تصویر به سه بعدی. مدل متن به تصویر، شبیه به سیستم‌های هنری مولد مانند DALL-E 2 و Stable Diffusion اختصاصی OpenAI، برای درک ارتباط بین کلمات و مفاهیم بصری بر روی تصاویر برچسب‌گذاری شده آموزش داده شد. از سوی دیگر، مدل تصویر به 3 بعدی، مجموعه ای از تصاویر جفت شده با اشیاء سه بعدی را دریافت کرد تا یاد بگیرد که به طور موثر بین این دو ترجمه کند.
هنگامی که یک پیام متنی دریافت می کند – به عنوان مثال، “دنده قابل چاپ سه بعدی، یک چرخ دنده به قطر 3 اینچ و ضخامت نیم اینچ” – مدل متن به تصویر Point-E یک شی رندر مصنوعی تولید می کند که به تصویر به داده می شود. – مدل سه بعدی، که سپس یک ابر نقطه ای تولید می کند.
محققان OpenAI می‌گویند پس از آموزش مدل‌ها بر روی مجموعه داده‌ای از «چند میلیون» شی سه‌بعدی و ابرداده مرتبط، Point-E می‌تواند ابرهای نقطه‌ای رنگارنگ تولید کند که اغلب با اعلان‌های متنی مطابقت دارند. کامل نیست – مدل تصویر به 3 بعدی Point-E گاهی اوقات تصویر را از مدل متن به تصویر درک نمی کند و در نتیجه شکلی ایجاد می کند که با درخواست متن مطابقت ندارد. با این حال، حداقل طبق گفته تیم OpenAI، سرعت آن نسبت به حالت قبلی بیشتر است.
ابرهای نقطه E را به مش تبدیل کنید.
آنها در این مقاله نوشتند: «اگرچه روش ما در این ارزیابی نسبت به تکنیک‌های پیشرفته بدتر عمل می‌کند، اما در کسری از زمان نمونه‌ها را تولید می‌کند. “این ممکن است آن را برای برنامه های خاص کاربردی تر کند، یا ممکن است امکان تشخیص اشیاء سه بعدی با کیفیت بالاتر را فراهم کند.”
برنامه ها دقیقا چیست؟ خب، محققان OpenAI اشاره می‌کنند که از ابرهای نقطه‌ای Point-E می‌توان برای ساخت اشیاء دنیای واقعی، به عنوان مثال از طریق چاپ سه‌بعدی استفاده کرد. با مدل مشبک سازی اضافی، این سیستم می تواند – پس از کمی صیقلی تر شدن – به جریان های کاری توسعه بازی و انیمیشن نیز راه پیدا کند.
OpenAI ممکن است آخرین شرکتی باشد که وارد عرصه تولید اشیاء سه بعدی شده است، اما – همانطور که قبلا ذکر شد – مطمئنا اولین نیست. در اوایل سال جاری، گوگل DreamFusion را منتشر کرد، نسخه پیشرفته Dream Fields، یک سیستم سه بعدی مولد که این شرکت در سال 2021 رونمایی کرد. برخلاف Dream Fields، DreamFusion نیازی به آموزش قبلی ندارد، به این معنی که می تواند نمایش های سه بعدی اشیاء را بدون داده های سه بعدی تولید کند.
در حالی که همه نگاه‌ها در حال حاضر به مولدهای هنر دوبعدی است، هوش مصنوعی ترکیب‌کننده مدل می‌تواند مخل بزرگ بعدی صنعت باشد. مدل های سه بعدی در سینما و تلویزیون، طراحی داخلی، معماری و زمینه های مختلف علمی کاربرد فراوانی دارند. به عنوان مثال، شرکت های معماری از آنها برای نشان دادن ساختمان ها و مناظر پیشنهادی استفاده می کنند، در حالی که مهندسان از مدل ها به عنوان طرحی برای دستگاه ها، وسایل نقلیه و سازه های جدید استفاده می کنند.
موارد آسیب به نقطه E.
با این حال، ساخت مدل‌های سه‌بعدی معمولاً زمان می‌برد – بین چند ساعت تا چند روز. هوش مصنوعی مانند Point-E می‌تواند آن را تغییر دهد، اگر روزی پیچیدگی‌ها برطرف شود و OpenAI از این طریق به سود قابل توجهی تبدیل شود.
سوال این است که چه اختلافات مالکیت فکری ممکن است در طول زمان به وجود بیاید. بازار بزرگی برای مدل‌های سه بعدی وجود دارد، با چندین بازار آنلاین از جمله CGStudio و CreativeMarket که به سازندگان اجازه می‌دهد محتوایی را که ایجاد کرده‌اند بفروشند. اگر Point-E جلو بیفتد و مدل‌های آن راهی بازار شوند، هنرمندان مدل ممکن است اعتراض کنند و به شواهدی اشاره کنند که هوش مصنوعی مولد مدرن به‌شدت از داده‌های آموزشی آن – مدل‌های سه بعدی موجود، در مورد Point-E – وام گرفته است. مانند DALL-E 2، Point-E هیچ یک از هنرمندانی را که ممکن است بر نسل های او تأثیر گذاشته باشند، ذکر یا نقل نمی کند.
اما OpenAI این سوال را به روز دیگری واگذار می کند. نه در سند Point-E و نه صفحه GitHub حق چاپ ذکر نشده است.
به اعتبار آنها، محققان انجام دادن ذکر کنید که آنها انتظار دارند که نقطه E از آن رنج ببرد یک چیز دیگر مشکلاتی مانند سوگیری های به ارث رسیده از داده های آموزشی و فقدان حفاظت در مورد مدل هایی که می توانند برای ایجاد “اشیاء خطرناک” استفاده شوند. شاید به همین دلیل است که آنها مراقب هستند که نقطه E را به عنوان “نقطه شروع” توصیف کنند که امیدوارند الهام بخش “کار بیشتر” در زمینه سنتز متن به سه بعدی باشد.