METR կազմակերպությունը թարմացրել է AI-ի զարգացման գրաֆիկը
AI-ի գնահատմամբ զբաղվող METR ոչ առևտրային կազմակերպությունը հրապարակել է զեկույց, որը թարմացնում է արհեստական բանականության մոդելների առաջընթացի ժամանակային հորիզոնի գծապատկերը։
METR ոչ առևտրային կազմակերպությունը հրապարակել է նոր զեկույց, որը կարևոր թարմացում է պարունակում արհեստական բանականության առաջընթացի ժամանակային հորիզոնի գծապատկերի համար։ Կազմակերպությունը գնահատել է տարբեր AI մոդելներ՝ դրանց առաջադրելով հատուկ մշակված խնդիրներ, որոնք նախկինում հաջողությամբ կատարվել են մարդկանց կողմից։ Գծապատկերի նախնական տարբերակում արձանագրվել էր, որ առաջատար մոդելների կողմից հաջողությամբ ավարտվող առաջադրանքների տևողությունը կրկնապատկվում էր յուրաքանչյուր չորս ամիսը մեկ, ինչը հստակ ցույց էր տալիս զարգացման տեմպերը։
Արդյունքների վերլուծություն
Նոր զեկույցում ներկայացված տվյալների համաձայն՝ Opus 5.5 մոդելը հասել է գնահատման նախագծման խնդիրների կատարման սահմանային արդյունավետության։ Սա նշանակում է, որ մոդելները սկսում են հաղթահարել ավելի բարդ և ոչ ստանդարտ մարտահրավերներ։ Ավելի վաղ՝ այս ամսվա սկզբին, METR-ի մեկ այլ զեկույցում նշվել էր, որ AI-ն կարող է երկու անգամ արագացնել արհեստական բանականության առաջընթացի տեմպերը հենց Anthropic ընկերությունում։
Փորձագիտական տեսակետներ
Փորձագետները դրական են գնահատում գնահատման մեթոդաբանության այս փոփոխությունը։ Սայաշ Կապուրը նշել է, որ անցումը դեպի բաց և ոչ ստանդարտ առաջադրանքներ խոստումնալից քայլ է, սակայն հավելել է, որ AI-ի գնահատումները պետք է դառնան ավելի ստեղծագործ։ Նրա խոսքով՝ դեռևս շատ անելիքներ կան՝ իրական պատկերն ամբողջությամբ հասկանալու և գնահատման ոլորտում նոր հորիզոններ բացելու համար։ Նաջունգ Կիմը նույնպես կարծում է, որ դիտարկվող բարելավումները տեղեկացնում են ընթացիկ պահի մասին, սակայն ընդգծել է, որ դեռևս դժվար է կանխատեսել, թե ինչպես դրանք կարող են արտաքին գործոնների վրա տարածվել։
Մեթ Պուցը շեշտել է գնահատման տեխնիկական դժվարությունները՝ նշելով, որ դժվար ստուգվող կամ դատողություններ պահանջող առաջադրանքներն ավելի բարդ են ուսումնասիրելու և քանակականացնելու համար։ Նա կարծում է, որ վերջնական հաշվով հնարավոր չի լինի սահմանել այնպիսի մաքուր և կայուն միտումներ, ինչպիսիք առկա են հեշտ նկարագրվող խնդիրների դեպքում։ Այսպիսով, չնայած գրանցված առաջընթացին, փորձագիտական հանրությունը շարունակում է զգուշորեն մոտենալ արդյունքների մեկնաբանմանը՝ ընդգծելով գնահատման գործընթացի կատարելագործման անհրաժեշտությունը։
Աղբյուրներ
- MIT Technology Review · The most misunderstood graph in AI just got a major update ·