[Kiina, Shenzhen, 14. heinäkuuta 2023] Huawei julkisti tänään uuden tekoälyn tallennusratkaisunsa suurten mallien aikakauteen. Se tarjoaa optimaalisia tallennusratkaisuja mallin peruskoulutukseen, alakohtaiseen mallikoulutukseen ja päättelyyn segmentoiduissa skenaarioissa. vapauttaa uusia tekoälyominaisuuksia.
Suurten mallisovellusten kehittämisessä ja toteutuksessa yrityksillä on neljä suurta haastetta:
Ensinnäkin tietojen valmisteluun kuluu pitkä aika, tietolähteet ovat hajallaan ja aggregointi hidasta, satojen teratavujen tiedon esikäsittelyyn menee noin 10 päivää. Toiseksi multimodaalisissa suurissa malleissa, joissa on valtavia teksti- ja kuvatietojoukkoja, suurien pienten tiedostojen nykyinen latausnopeus on alle 100 Mt/s, mikä johtaa alhaiseen tehokkuuteen harjoitusjoukon lataamisessa. Kolmanneksi suurten mallien säännölliset parametrien säädöt sekä epävakaat harjoitusalustat aiheuttavat harjoittelun keskeytyksiä noin kahden päivän välein, mikä edellyttää Checkpoint-mekanismin käyttöä harjoituksen jatkamiseksi, jolloin palautuminen kestää yli päivän. Lopuksi korkeat käyttöönottokynnykset suurille malleille, monimutkaiset järjestelmän asetukset, resurssien ajoitushaasteet ja GPU-resurssien käyttöaste usein alle 40 %.
Huawei mukautuu tekoälykehityksen trendiin suurten mallien aikakaudella tarjoten eri toimialoille ja skenaarioille räätälöityjä ratkaisuja. Siinä esitellään OceanStor A310 Deep Learning Data Lake Storage ja FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage kohdistaa sekä perus- että teollisuustason suuriin mallitietojärven skenaarioihin ja mahdollistaa kattavan AI-tiedonhallinnan tietojen yhdistämisestä, esikäsittelystä mallikoulutukseen ja päättelysovelluksiin. OceanStor A310, yhdessä 5U:n telineessä, tukee alan johtavaa 400 Gt/s kaistanleveyttä ja jopa 12 miljoonaa IOPS:ää sekä lineaarista skaalautuvuutta jopa 4096 solmuun, mikä mahdollistaa saumattoman protokollien välisen viestinnän. Global File System (GFS) helpottaa älykästä tiedon kudontaa eri alueilla ja virtaviivaistaa tietojen yhdistämisprosesseja. Near-store-computing toteuttaa lähes datan esikäsittelyn, vähentää tiedon liikkumista ja parantaa esikäsittelyn tehokkuutta 30 %.
FusionCube A3000 Training/Inference Super-Converged Appliance, joka on suunniteltu teollisuustason suuriin mallien koulutus-/päätelmäskenaarioihin, palvelee sovelluksia, joissa on miljardeja parametreja sisältäviä malleja. Se integroi korkean suorituskyvyn OceanStor A300 -tallennussolmuja, koulutus-/päätelmäsolmuja, kytkentälaitteita, tekoälyalustan ohjelmistoja sekä hallinta- ja käyttöohjelmistoja, mikä tarjoaa suurille mallikumppaneille plug-and-play -käyttökokemuksen yhden luukun toimitukseen. Käyttövalmis, se voidaan ottaa käyttöön 2 tunnin sisällä. Sekä opetus-/päätelmä- että tallennussolmuja voidaan laajentaa itsenäisesti ja vaakasuunnassa vastaamaan erilaisia mallimittakaavavaatimuksia. Samaan aikaan FusionCube A3000 käyttää korkean suorituskyvyn säiliöitä mahdollistaakseen useiden mallien koulutus- ja päättelytehtäviä GPU:iden jakamiseksi, mikä lisää resurssien käyttöastetta 40 prosentista yli 70 prosenttiin. FusionCube A3000 tukee kahta joustavaa liiketoimintamallia: Huawei Ascend One-Stop Solution ja kolmannen osapuolen kumppanin yhden luukun ratkaisu avoimella tietojenkäsittely-, verkko- ja tekoälyalustaohjelmistolla.
Huawein Data Storage -tuotelinjan johtaja Zhou Yuefeng totesi: ”Suureiden mallien aikakaudella data määrää tekoälyn korkeuden. Tietojen välittäjänä tiedon tallennustilasta tulee keskeinen perusinfrastruktuuri suurille tekoälymalleille. Huawei Data Storage jatkaa innovointia tarjoamalla monipuolisia ratkaisuja ja tuotteita suurten tekoälymallien aikakaudelle ja tekee yhteistyötä kumppaneiden kanssa edistääkseen tekoälyn vaikutusmahdollisuuksia useilla eri aloilla.
Postitusaika: 01.08.2023
