[Кина, Шенжен, 14 јули 2023 година] Денес, Huawei го претстави своето ново решение за складирање со вештачка интелигенција за ерата на модели од големи размери, обезбедувајќи оптимални решенија за складирање за обука за основни модели, обука за модели специфични за индустријата и заклучоци во сегментирани сценарија, на тој начин ослободување на нови способности за вештачка интелигенција.
Во развојот и имплементацијата на апликации за модели од големи размери, претпријатијата се соочуваат со четири главни предизвици:
Прво, времето потребно за подготовка на податоците е долго, изворите на податоци се расфрлани, а собирањето е бавно, што трае околу 10 дена за претходна обработка на стотици терабајти податоци. Второ, за мултимодални големи модели со масивни сетови на текст и слики, моменталната брзина на вчитување на масивни мали датотеки е помала од 100 MB/s, што резултира со ниска ефикасност за вчитување на комплетот за обука. Трето, честите прилагодувања на параметрите за големите модели, заедно со нестабилните платформи за обука, предизвикуваат прекини на тренингот приближно на секои 2 дена, што бара механизмот на Checkpoint да продолжи со тренингот, а закрепнувањето трае еден ден. И на крај, високи прагови за имплементација за големи модели, сложено поставување на системот, предизвици со распоред на ресурси и искористување на ресурсите на графичкиот процесор често под 40%.
Huawei се усогласува со трендот на развој на вештачка интелигенција во ерата на модели од големи размери, нудејќи решенија прилагодени за различни индустрии и сценарија. Ги воведува OceanStor A310 Deep Learning Data Lake Storage и FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage ги таргетира и основните и индустриските сценарија за големи моделски езера со податоци, постигнувајќи сеопфатно управување со податоци со вештачка интелигенција од агрегација на податоци, претходна обработка до обука за модели и апликации за заклучоци. OceanStor A310, во единечен држач од 5U, поддржува водечка во индустријата пропусен опсег од 400 GB/s и до 12 милиони IOPS, со линеарна приспособливост до 4096 јазли, што овозможува беспрекорна меѓупротоколна комуникација. Глобалниот датотечен систем (GFS) го олеснува интелигентното плетење податоци низ регионите, рационализирајќи ги процесите на собирање податоци. Пресметките во близина на складирање реализираат претпроцесирање блиску до податоците, намалување на движењето на податоците и подобрување на ефикасноста на предобработка за 30%.
Супер-конвергираниот апарат за обука/заклучување FusionCube A3000, дизајниран за сценарија за обука/извлекување на големи модели на ниво на индустрија, се грижи за апликации кои вклучуваат модели со милијарди параметри. Интегрира јазли за складирање со високи перформанси на OceanStor A300, јазли за обука/инференции, опрема за префрлување, софтвер за платформа за вештачка интелигенција и софтвер за управување и работа, обезбедувајќи им на големите партнери на модели искуство за распоредување plug-and-play за еднократна испорака. Подготвен за употреба, може да се распореди во рок од 2 часа. И јазлите за обука/заклучување и складирање можат независно и хоризонтално да се прошират за да одговараат на различните барања на скалата на моделот. Во меѓувреме, FusionCube A3000 користи контејнери со високи перформанси за да овозможи повеќекратни задачи за обука на модели и заклучоци за споделување графички процесори, зголемувајќи ја искористеноста на ресурсите од 40% на над 70%. FusionCube A3000 поддржува два флексибилни деловни модели: Huawei Ascend One-Stop Solution и партнерско решение од трета страна со едношалтерско решение со отворени компјутери, вмрежување и софтвер за платформа за вештачка интелигенција.
Претседателот на производната линија за складирање податоци на Huawei, Џоу Јуфенг, изјави: „Во ерата на моделите од големи размери, податоците ја одредуваат висината на интелигенцијата со вештачка интелигенција. Како носител на податоци, складирањето податоци станува клучна основна инфраструктура за моделите од големи размери со вештачка интелигенција. Huawei Data Storage ќе продолжи да иновира, обезбедувајќи разновидни решенија и производи за ерата на големи модели со вештачка интелигенција, соработувајќи со партнери за да поттикне зајакнување на вештачката интелигенција во широк опсег на индустрии.
Време на објавување: 01.08.2023
