داریو آمودی

سلام. من پیمان امیدی هستم و امروز می خوام در مورد داریو آمودی باهاتون صحبت کنم. ایشان به هیچ وجه با مدیرهایی که صرفا اسم بزرگ کردن قابل قیاس نیست و در ادامه به شما توضیح می دهم که چرا دقیقا این نظر رو در مورد ایشان دارم.

اگر زمان کافی برای خواندن مقاله رو نداری، این پادکست رو گوش کنید:

اگر اسم داریو آمودی را فقط کنار Claude دیده باشیم، بخش مهم ماجرا جا می ماند. آمودی پیش از آنکه مدیرعامل Anthropic شود، مسیرش را از بیوفیزیک و مطالعه مدارهای عصبی به پژوهش یادگیری عمیق رساند.

همین مسیر توضیح می دهد چرا وقتی درباره هوش مصنوعی حرف می زند، بحث را به خوش خوان بودن پاسخ ها محدود نمی کند.

هدف، روش آموزش، قابلیت هدایت و خطاهایی که در محصول واقعی هزینه می سازند ، برای او اهمیت زیادی دارند. اهمیت خیلی خیلی زیاد!

جمله بالا رو دوباره و سه باره بخوانید تا بهتر درک کنید قرار است راجع به چه کسی حرف بزنیم.

در کار دیجیتال مارکتینگ، سئو و مشاوره کسب وکار، عادت کرده ام بین ابزاری که خروجی چشم نواز تولید می کند و ابزاری که بتوان نتیجه اش را سنجید فاصله بگذارم. شناخت داریو آمودی از همین زاویه مفید است.
باید فهمید کدام بخش از حرف های او سابقه پژوهشی و مقاله علمی دارد، کدام بخش درباره طراحی محصولات Anthropic است و کجا با پیش بینی شخصی روبه رو هستیم.

داریو آمودی کیست؟

داریو آمودی در دانششگاه پرینستون دکترای فیزیک گرفت و حوزه کارش به بیوفیزیک و مطالعه مدارهای عصبی مربوط بود. عنوان رساله او «الکتروفیزیولوژی در مقیاس شبکه» بود،

و یعنی تلاش برای اندازه گیری و فهم رفتار جمعی مدارهای عصبی. بعد از آن، در دانشکده پزشکی دانشگاه استنفورد به عنوان پژوهشگر پسادکتری روی طیف سنجی جرمی، پروتئوم سلولی و جست وجوی نشانگرهای زیستی سرطان کار کرد.

این مسیر با تصویری که معمولا از مدیران شرکت های هوش مصنوعی داریم فرق دارد.آن هم فرقی از زمین تا آسمان!

آمودی از ابتدا صرفا مدیر محصول یا کارآفرین فناوری نبود. آموزش او به علوم پایه، زیست شناسی و مدل سازی سیستم های پیچیده گره خورده بود.

پس از استنفورد، در Google Brain به عنوان پژوهشگر ارشد یادگیری عمیق فعالیت کرد. بعد به OpenAI رفت و در مقام معاون پژوهشی، جهت کلی پژوهش های این سازمان را دنبال کرد.

همین سابقه حضور می تواند برای هر شخصی در دنیا کافی باشد تا به عنوان یکی از قوی ترین رزومه ها در نظر گرفته شود.

بنیاد هرتز نوشته است که او تلاش های مربوط به ساخت GPT-2 و GPT-3 را رهبری کرده و روی پروژه های ایمنی بلندمدت نیز کار کرده است، از جمله تفسیرپذیری مدل ها و روش هایی برای نزدیک ترکردن رفتار سیستم های هوش مصنوعی به ترجیحات انسانی.

آمودی بعدتر یکی از بنیان گذاران Anthropic شد و مدیرعامل این شرکت است. Anthropic خودش را یک شرکت پژوهش و ایمنی هوش مصنوعی معرفی می کند که هدفش ساخت سیستم های قابل اتکا، قابل فهم و قابل هدایت است.

این سابقه برای شناخت دیدگاه او مهم است، ولی نباید آن را با تضمین درستی همه حرف هایش اشتباه گرفت. سابقه علمی اعتبار می آورد، و اعتبار جای بررسی شواهد را نمی گیرد.

سه چیز را با هم قاطی نکنیم: آمودی، Anthropic و Claude

داریو آمودی یک فرد است، پژوهشگر و مدیرعامل.

Anthropic سازمانی است که روی پژوهش، توسعه و عرضه سیستم های هوش مصنوعی کار می کند. این شرکت در ساختار حقوقی خود یک Public Benefit Corporation است، یعنی در کنار منافع تجاری، هدف عمومی مشخصی را نیز در اساسنامه دنبال می کند.

Claude محصول و خانواده ای از مدل ها را نیز در اساسنامه دنبال می کند.

این تفکیک اهمیت عملی دارد.

اگر Claude درباره یک موضوع بازاریابی پیشنهاد بدهد، نباید آن را نقل قولی از آمودی یا موضع رسمی Anthropic حساب کرد. همان طور که پاسخ یک کارشناس در یک شرکت، الزاما بیانیه مدیرعامل آن شرکت نیست.

مسئله ای که آمودی از سال های اول پژوهش دنبال کرد

یکی از مقاله های مهمی که نام آمودی در آن دیده می شود، «مسائل ملموس در ایمنی هوش مصنوعی» است که در سال ۲۰۱۶ منتشر شد. نویسندگان مقاله تلاش کردند بحث ایمنی را از سناریوهای مبهم و سینمایی جدا کنند و به خطاهایی بپردازند که در سیستم های یادگیری ماشین قابل بررسی هستند.

در مقاله، پنج مسئله اصلی مطرح می شود: عوارض جانبی ناخواسته، دست کاری پاداش. کنار این ها نظارت مقیاس پذیر، کاوش امن و تغییر توزیع داده ها.

عوارض جانبی زمانی رخ می دهد که سیستم برای رسیدن به هدف اصلی، آسیب های جانبی را نادیده بگیرد. فرض کنید هدف یک ابزار بازاریابی فقط افزایش تعداد کلیک باشد. سیستم می تواند تیترهای هیجانی بسازد، اطلاعات مهم را پنهان کند یا مخاطب نامرتبط جذب کند. عدد کلیک بالا می رود و کیفیت سرنخ ها افت می کند.

دست کاری پاداش شکل دیگری از همین مشکل است. مدل به جای انجام کاری که واقعا می خواهیم، راهی برای گرفتن امتیاز پیدا می کند. در سئو، اگر معیار موفقیت را فقط تعداد صفحات تولیدشده بگذاریم، خروجی می تواند حجم زیادی متن کم ارزش باشد. سیستم معیار را بهینه کرده، ولی هدف کسب وکار محقق نشده است.

نظارت مقیاس پذیر به یک پرسش دشوار مربوط می شود: اگر انسان نتواند تک تک رفتارهای مدل را بررسی کند، چطور می توان کیفیت آن را سنجید؟ وقتی تعداد درخواست ها زیاد می شود، بررسی انسانی همه پاسخ ها زمان و هزینه زیادی می خواهد.

تغییر توزیع داده ها زمانی اتفاق می افتد که مدل در محیط واقعی با چیزی روبه رو شود که در داده های آموزشی یا آزمونش کمتر دیده است. مدلی که برای فروشگاه های انگلیسی زبان آموزش دیده، ممکن است در فهم اصطلاحات خرید ایرانی، تفاوت قیمت، مناسبت های محلی یا لحن مشتریان فارسی عملکرد متفاوتی داشته باشد.

کاوش امن بیشتر در سیستم هایی مطرح می شود که تصمیم می گیرند و اقدام می کنند. آزمون وخطا در محیطی مثل بازی رایانه ای هزینه کمی دارد، در امور مالی، پزشکی، پشتیبانی مشتری یا مدیریت موجودی می تواند آسیب واقعی ایجاد کند.

این نوع نگاه یکی از مهم ترین میراث فکری آمودی است: خطر هوش مصنوعی همیشه از یک سناریوی عجیب شروع نمی شود. گاهی یک هدف اشتباه، معیار ناقص یا داده نامتناسب برای ایجاد مشکل کافی است.

قانون مقیاس چه چیزی را توضیح می دهد؟

آمودی یکی از نویسندگان مقاله «قوانین مقیاس پذیری برای مدل های زبانی» است که در سال ۲۰۲۰ منتشر شد. ایده اصلی مقاله این بود که با افزایش اندازه مدل، حجم داده و توان محاسباتی، خطای مدل های زبانی طبق الگوهایی نسبتا قابل پیش بینی کاهش پیدا می کند.

این یافته به شرکت های پژوهشگر کمک کرد بفهمند افزایش منابع محاسباتی چه اثری روی عملکرد مدل می گذارد. پیش از آن، ساخت مدل بزرگ تر بیشتر شبیه آزمون وخطا بود. قوانین مقیاس نشان دادند که بین اندازه مدل، داده، محاسبه و کیفیت پیش بینی رابطه هایی وجود دارد که می توان آن ها را مطالعه و تخمین زد.

این حرف را نباید به شکل ساده سازی شده تکرار کرد که «هرچه مدل بزرگ تر باشد، همیشه بهتر است». قانون مقیاس درباره روند آماری آموزش مدل صحبت می کند و کیفیت محصول نهایی به داده، طراحی. کنار این ها ارزیابی، امنیت، هزینه، سرعت پاسخ و نوع استفاده نیز وابسته است.

برای یک کسب وکار، این بخش از کار آمودی یک پیام روشن دارد: افزایش بودجه یا خرید ابزار گران تر، جای تعریف هدف و معیار سنجش را نمی گیرد. اگر ندانیم خروجی خوب دقیقا چه ویژگی هایی دارد، مدل بزرگ تر فقط همان یا Constitutional AI چیست؟

هزینه بیشتر اجرا می کند.

هوش مصنوعی قانون محور یا Constitutional AI چیست

یکی از کارهای شناخته شده Anthropic، پژوهش «Constitutional AI: Harmlessness from AI Feedback» است.
نام این روش را می توان هوش مصنوعی مبتنی بر منشور اصول ترجمه کرد.

در روش های رایج تر، بخشی از رفتار مدل با بازخورد انسانی تنظیم می شود. انسان پاسخ ها را مقایسه می کند، پاسخ بهتر را انتخاب می کند و این ترجیحات برای آموزش مدل به کار می رود. این کار مفید است، ولی وقتی تعداد موقعیت ها و انواع خطا زیاد شود، جمع آوری بازخورد انسانی دشوار و پرهزینه می شود.

در Constitutional AI، مجموعه ای از اصول برای هدایت رفتار مدل استفاده می شود. مدل ابتدا پاسخ می دهد، پاسخ خود را با توجه به اصول نقد می کند و نسخه اصلاح شده می سازد. سپس از ارزیابی های تولیدشده توسط مدل برای آموزش مرحله بعد استفاده می شود. این بخش با نام RLAIF یا یادگیری تقویتی از بازخورد هوش مصنوعی شناخته می شود.

نکته ظریف اینجاست که «قانون اساسی» به معنای وجود چند قانون ثابت و بی نقص درون مدل نیست. اصول، رفتار مدل را جهت می دهند، کیفیت این اصول، روش اجرای آن ها و داده های آموزشی روی نتیجه اثر می گذارند. مدل هنوز ممکن است واقعیت را اشتباه بفهمد، پاسخ ناقص بدهد یا در موقعیتی جدید تصمیم نامناسب بگیرد.

رفتارهایی مثل توضیح دادن دلیل امتناع از یک درخواست، پیشنهاد مسیر امن تر یا تلاش برای حفظ فایده پاسخ به جای ردکردن کوتاه، به همین نگاه مربوط هستند. این رویکرد برای کاربر خوشایندتر است، چون پاسخ ایمنی الزاما به یک جمله خشک و بی توضیح ختم نمی شود.

ایمنی نیز با بی خطایی فرق دارد. یک مدل می تواند در برابر درخواست های خطرناک محتاط باشد و در همان زمان درباره یک موضوع عادی، تاریخ، آمار یا نام یک منبع را اشتباه بگوید.

آمودی درباره آینده چه می گوید؟

داریو آمودی در نوشته «Machines of Loving Grace» تصویری از کاربردهای مثبت هوش مصنوعی قدرتمند ترسیم کرده است. حوزه هایی که او برجسته می کندشامل زیست شناسی و سلامت، علوم اعصاب و سلامت روان. کنار این ها توسعه اقتصادی، صلح و حکمرانی، و کار و معناست.

اهمیت این نوشته در فهرست وعده هایش نیست. خود آمودی تأکید می کند که این مطالب پیش بینی قطعی نیستند و بیشتر «حدس های آگاهانه» به شمار می روند. او عمدا جزئیات زیادی ارائه می دهد تا بحث از سطح شعار فاصله بگیرد، در حالی که احتمال خطا در جزئیات را نیز می پذیرد.

این مرزبندی برای خواندن حرف های مدیران فناوری ضروری است. وقتی آمودی از یک مقاله پژوهشی درباره آموزش مدل صحبت می کند، با داده و روش آزمایش روبه رو هستیم. وقتی آینده سلامت یا اقتصاد را توصیف می کند، با تحلیل و پیش بینی شخصی روبه رو هستیم. هر دو ارزش خواندن دارند، ولی وزن استنادی یکسانی ندارند.

در نوشته بعدی او با عنوان «The Adolescence of Technology»، تمرکز بیشتری روی خطرهای هوش مصنوعی قدرتمند دیده می شود.
آمودی در آن نوشته بر پرهیز از قطعیت دادن به آینده، بررسی خطرهای ملموس و طراحی مداخلات دقیق تأکید می کند. این متنوبیشه قطعی آینده نیست، و چارچوبی برای فکرکردن درباره ریسک است.

نگاه آمودی به ایمنی، برای کسب وکار چه فایده ای دارد؟

مدیر یک کسب وکار معمولا با نسخه کوچک تر همان مسائل روبه رو می شود. هدف مبهم، داده ناکافی و معیار ناقص، فقط در آزمایشگاه هوش مصنوعی دردسرساز نیستند.

اگر از یک مدل بخواهیم «بهترین محتوای ممکن» را تولید کند، عبارت بهترین معنای عملی مشخصی ندارد. می توان این هدف را به معیارهایی مثل دقت اطلاعات، تناسب با مخاطب. کنار این ها هماهنگی با لحن برند، پوشش نیاز جست وجو، شفافیت منابع و قابلیت ویرایش تبدیل کرد.

برای من در کار سئو و مشاوره دیجیتال مارکتینگ، همین تبدیل هدف کلی به معیار قابل بررسی از خود ابزار مهم تر است. متن روان به تنهایی خروجی خوب محسوب نمی شود. باید دید ادعاهای آن قابل بررسی هستند، مثال ها با بازار ایران تناسب دارند و آیا بعد از انتشار واقعا به تصمیم مخاطب کمک می کنند یا فقط حجم صفحه ها را بالا می برند.

مدل باید در محیط واقعی نیز ارزیابی شود.
چند پاسخ آزمایشی فارسی، عملکرد یک ابزار را برای تمام حوزه ها نشان نمی دهد. یک مدل ممکن است برای بازنویسی متن عملکرد خوبی داشته باشد و در تحلیل داده های محلی، استخراج اطلاعات از فایل های شلوغ یا تولید پیشنهاد قیمت، قابل اتکا نباشد.

وضعیت Claude و Anthropic برای کاربران ایران

ایران در فهرست رسمی کشورهای پشتیبانی شده Anthropic برایClaude.aiو دسترسی تجاری API قرار ندارد. بنابراین کاربری که داخل ایران است، نمی تواند دسترسی رسمی این سرویس را مانند کاربر کشوری که در فهرست پشتیبانی قرار دارد فرض کند.

شرایط مصرف کننده Anthropic از کاربر می خواهد اطلاعات حساب درست، کامل و به روز وارد کند. همین شرایط، دورزدن سیستم ها یا سازوکارهای حفاظتی سرویس را ممنوع می داند. ثبت کشور غیرواقعی، استفاده از حساب اجاره ای، شماره مجازی یا روش هایی برای پنهان کردن منطقه دسترسی، راه حل حرفه ای و باثباتی برای استفاده کسب وکاری نیست.

ریسک چنین دسترسی هایی فقط بسته شدن حساب نیست. اگر یک واسطه، حساب را برای چند مشتری مدیریت کند، اطلاعات ورودی ها و فایل های کاری ممکن است از مسیرهایی عبور کند که کسب وکار هیچ کنترل روشنی روی آن ها ندارد. قراردادن اطلاعات مشتریان، قراردادها، شماره تماس، گزارش فروش یا داده های محرمانه در چنین حساب هایی تصمیم پرریسکی است.

برای استفاده سازمانی، باید وضعیت دسترسی. کنار این ها مالک حساب، محل نگهداری داده و شرایط سرویس مستقیما با ارائه دهنده یا شریک رسمی روشن شود. اگر این موارد روشن نیست، بهتر است Claude را پایه فرایند حیاتی کسب وکار قرار ندهیم.

Claude با زبان فارسی چطور استفاده شود؟

Anthropic در مستندات چندزبانه خود عملکرد مدل را برای چند زبان گزارش کرده است.

فارسی در فهرست زبان های دارای امتیاز مقایسه ای آن صفحه دیده نمی شود و این نکته به معنای ناتوانی Claude در تولید فارسی نیست، فقط برای فارسی، امتیاز رسمی قابل مقایسه با انگلیسی در آن ارزیابی ارائه نشده است.

برای کار فارسی، بهتر است زبان ورودی و خروجی را صریح مشخص کنیم و متن را با خط فارسی بنویسیم. خود Anthropic نیز توصیه می کند در کاربردهای تولیدی، زبان پاسخ در دستور پایدار سیستم تعیین شود.

یک دستور ساده می تواند چنین باشد:

همیشه به فارسی روان رایج ایران پاسخ بده و از ترجمه تحت اللفظی پرهیز کن. اگر ادعایی به منبع نیاز دارد، میزان اطمینان خودت را مشخص کن و اطلاعاتی را که در متن من وجود ندارد حدس نزن. متن را برای صاحب یک کسب وکار ایرانی بنویس و اصطلاحات تخصصی را در اولین استفاده کوتاه توضیح بده.

برای نتیجه بهتر، نمونه لحن برند. کنار این ها مخاطب، صنعت، شهر یا بازار هدف و محدودیت های متن را نیز در اختیار مدل بگذاریم. تفاوت میان متن رسمی تهران، متن فروشگاهی، محتوای تخصصی پزشکی و محتوای محاوره ای شبکه اجتماعی با دستور «فارسی بنویس» حل نمی شود.

در محتوای فارسی، جزئیاتی مثل نیم فاصله. کنار این ها نام برندها، واحد پول، شکل نوشتن اعداد و اصطلاحات محلی نیز باید بازبینی شوند. مدل می تواند نثر مرتب تولید کند و در همین نثر مرتب، یک نام یا عدد نادرست بگذارد.

داریو آمودی را با چه معیاری بخوانیم؟

بخشی از اطلاعات درباره آمودی، واقعیت های قابل بررسی درباره تحصیلات و سمت های شغلی اوست. بخشی دیگر به مقاله های علمی مربوط می شود، و مقاله هایی که روش، مسئله و نتیجه مشخص دارند.
دسته سوم، نوشته ها و سخنانی هستند که در آن ها آینده فناوری و آثار اجتماعی آن را تحلیل می کند.

این سه جنس ادعا را نباید با یک لحن واحد خواند.

وقتی از تحصیل آمودی در پرینستون یا نقش او در OpenAI صحبت می شود، باید به زندگی نامه های رسمی و صفحات سازمانی رجوع کرد. وقتی درباره Scaling Laws یا Constitutional AI حرف می زنیم، متن مقاله علمی اهمیت پیدا می کند.

وقتی درباره آینده سلامت، کار یا خطرهای تمدنی هوش مصنوعی صحبت می شود، باید متن را تحلیل شخصی یک پژوهشگر و مدیر دانست، حتی اگر نویسنده در موضوع تخصص زیادی داشته باشد.

برای من، ارزش اصلی آمودی در این است که بحث هوش مصنوعی را به دو سر طیف ساده انگارانه نمی برد. پاسخ های مدل ها می توانند مفید باشند و در همان زمان نیازمند آزمون، کنترل و ارزیابی بمانند. این نگاه برای کسب وکار ایرانی که با محدودیت دسترسی، هزینه، زبان و ریسک داده مواجه است، کاربردی تر از شیفتگی به نام یک شرکت یا یک مدل است.

لحن روان Claude، رزومه داریو آمودی یا شعارهای ایمنی Anthropic هیچ کدام جای معیار را نمی گیرند. خروجی زمانی ارزش عملی پیدا می کند که بتوان دقتش را سنجید، خطایش را پیدا کرد و مسئولیت تصمیم نهایی را همچنان نزد انسان نگه داشت.