Kubernetes Engine (OKE)

OKE susține serviciile OCI AI

Kubernetes este platforma de implementare a fluxurilor de lucru AI. OKE susține serviciile AI Oracle Cloud Infrastructure (OCI).

Crearea modelelor AI

– Etapa inițială de construcție a unui proiect AI implică definirea problemei și pregătirea datelor pentru a crea modele.

– Clusterele Kubernetes pot îmbunătăți semnificativ eficiența, oferind acces partajat la resurse GPU costisitoare și adesea limitate, oferind în același timp medii securizate și gestionate central.

– Kubeflow, un proiect open source aferent Kubernetes, oferă un framework cuprinzător, conceput pentru a simplifica crearea, instruirea şi implementarea de modele.

OKE pt. generarea modelelor AI

OKE este construit pe baza OCI, oferind o stivă completă de infrastructură de înaltă performanță, proiectată pentru sarcini de lucru AI/ML, cum ar fi:

– Gama completă de procesoare grafice NVIDIA, inclusiv H100, A100, A10 etc.

– Rețele RDMA ultra-rapide

Utilizând noduri OKE autogestionate, puteți rula sarcini de lucru AI/ML generând pe clusterele dvs. Kubernetes.

OKE susține serviciile OCI AI

Kubernetes este platforma de implementare a fluxurilor de lucru AI. OKE susține serviciile OCI AI.

Instruire pentru modelele AI

- În instruirea modelelor, experții în date selectează un algoritm și inițiază joburi de instruire utilizând date pregătite. Această etapă necesită sisteme sofisticate de programare pentru gestionarea eficientă a sarcinilor.

– Proiectele Kubernetes, cum ar fi Volcano și Kueue, ajută la gestionarea acestor cerințe și la utilizarea eficientă a resurselor de calcul.

– Instruirea distribuită pe scară largă necesită comunicații internode cu latență scăzută în cluster. Aici este nevoie de o rețea ultra-rapidă specializată cu acces direct la memorie de la distanță (RDMA). El permite mutarea datelor direct în sau din memoria unei aplicații, ocolind procesorul pentru a reduce latența.

OKE pt. instruire model AI

OKE este construit pe baza OCI, oferind o stivă completă de infrastructură de înaltă performanță, proiectată pentru sarcini de lucru AI/ML, cum ar fi:

– Gama completă de procesoare grafice NVIDIA, inclusiv H100, A100, A10 etc.

– Rețele RDMA cu latență scăzută și performanță ultra-înaltă

Utilizând noduri OKE autogestionate, puteți rula instruire AI/ML pe clusterele dvs. Kubernetes.

OKE susține serviciile OCI AI

Kubernetes este platforma de implementare a fluxurilor de lucru AI. OKE susține serviciile OCI AI.

Inferențierea modelelor de inteligență artificială (servire)

– Inferențierea modelelor de inteligență artificială este locul în care Kubernetes strălucește cu adevărat. Kubernetes poate scala automat numărul de containere de inferență în sus sau în jos, în funcție de cerere, asigurând utilizarea eficientă a resurselor.

– Kubernetes oferă un management sofisticat al resurselor, inclusiv posibilitatea de a specifica limitele de procesor și memorie pentru containere.

OKE pt. inferenţă model AI

OKE este proiectat cu rezistență în centrul său, folosind scalarea automată a containerelor încorporate Kubernetes, pentru a scala nodurile worker în funcție de utilizare. Nodurile worker pot fi distribuite pe mai multe domenii cu toleranţă la eşec şi/sau disponibilitate, pentru o disponibilitate ridicată.

Nodurile virtuale OKE oferă o experiență Kubernetes serverless. Acestea trebuie doar să scaleze la nivel de pod, fără a scala vreodată nodurile worker. Acest lucru permite o scalare mai rapidă și un management mai economic, deoarece taxele pentru servicii se bazează exclusiv pe modulele utilizate.

Nodurile virtuale sunt potrivite pentru fluxurile de lucru cu inferență și pot utiliza procesoare Arm, care devin o opțiune mult mai atractivă pentru inferența AI – mai ales atunci când GPU-urile sunt în aprovizionare scurtă.

Aplicațiile existente pot beneficia de migrarea la OCI și OKE

OKE oferă un cost total al deținerii mai mic și un timp mai bun de lansare pe piață.

OKE simplifică operațiunile la scară largă în următoarele moduri:

• Ridicare și schimbare; nu este nevoie de schimbare a arhitecturii
• Reduceți povara operațiunilor cu automatizarea
• Economisiţi timp pentru managementul infrastructurii
• Creșteți utilizarea și eficiența resurselor
• Îmbunătăţiţi agilitatea, flexibilitatea, durata de funcţionare şi rezistenţa
• Reduceți riscurile de conformitate și îmbunătățiți securitatea

Microserviciile oferă multe avantaje față de aplicațiile monolitice

Asigurați-vă aplicațiile pentru viitor cu o arhitectură de microservicii axată pe OKE.

• Modernizarea arhitecturii
• Ritm de inovare mai rapid
• Automatizarea implementării
• Dezvoltare paralelă
• Scalabilitate mai simplă
• Fiabilitate ridicată
• Mai multă flexibilitate
• Agilitate mai mare