README.md

Phi Cookbook: Primjeri iz prakse s Microsoftovim Phi modelima

Phi je niz AI modela otvorenog koda koje je razvila tvrtka Microsoft.

Phi je trenutno najsnažniji i isplativ mali jezični model (SLM), s vrlo dobrim rezultatima u više jezika, rezoniranju, generiranju teksta/četa, kodiranju, slikama, zvuku i drugim scenarijima.

Možete implementirati Phi u oblaku ili na rubnim uređajima, i lako izgraditi generativne AI aplikacije s ograničenom računalnom snagom.

Slijedite ove korake da biste započeli korištenje ovog resursa:

1. Forkajte repozitorij: Kliknite
2. Klonirajte repozitorij: git clone https://github.com/microsoft/PhiCookBook.git
3. Pridružite se Microsoft AI Discord zajednici i upoznajte stručnjake i kolege programere

🌐 Podrška za više jezika

Podržano putem GitHub akcije (Automatski i uvijek ažurirano)

Arapski | Bengalski | Bugarski | Burmêski (Myanmar) | Kineski (pojednostavljeni) | Kineski (tradicionalni, Hong Kong) | Kineski (tradicionalni, Macau) | Kineski (tradicionalni, Taiwan) | Hrvatski | Češki | Danski | Nizozemski | Estonski | Finski | Francuski | Njemački | Grčki | Hebrejski | Hindi | Mađarski | Indonezijski | Talijanski | Japanski | Kanadški | Khmer | Korejski | Litavski | Malajski | Malajalamski | Marathi | Nepalski | Nigerijski Pidžin | Norveški | Perzijski (Farsi) | Poljski | Portugalski (Brazil) | Portugalski (Portugal) | Punjabi (Gurmukhi) | Rumunjski | Ruski | Srpski (ćirilica) | Slovački | Slovenski | Španjolski | Svahili | Švedski | Tagalog (Filipino) | Tamilski | Telugu | Tajlandski | Turski | Ukrajinski | Urdu | Vijetnamski

Radije klonirati lokalno?

Ovaj repozitorij uključuje 50+ prijevoda jezika što značajno povećava veličinu preuzimanja. Za kloniranje bez prijevoda, upotrijebite sparse checkout:

Bash / macOS / Linux:

git clone --filter=blob:none --sparse https://github.com/microsoft/PhiCookBook.git
cd PhiCookBook
git sparse-checkout set --no-cone '/*' '!translations' '!translated_images'

CMD (Windows):

git clone --filter=blob:none --sparse https://github.com/microsoft/PhiCookBook.git
cd PhiCookBook
git sparse-checkout set --no-cone "/*" "!translations" "!translated_images"

To vam daje sve što vam treba za završetak tečaja uz mnogo brže preuzimanje.

Sadržaj

• Uvod

  • Dobrodošli u Phi obitelj
  • Postavljanje vašeg okruženja
  • Razumijevanje ključnih tehnologija
  • Sigurnost AI za Phi modele
  • Podrška za Phi hardver
  • Phi modeli i dostupnost na različitim platformama
  • Korištenje Guidance-ai i Phi
  • GitHub Marketplace modeli
  • Azure AI katalog modela

• Inferencija Phi u različitim okruženjima

  • Hugging face
  • GitHub modeli
  • Microsoft Foundry katalog modela
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM
  • Foundry lokalno

• Inferencija Phi obitelji

  • Inferencija Phi na iOS-u
  • Inferencija Phi na Androidu
  • Inferencija Phi na Jetsonu
  • Inferencija Phi na AI PC-u
  • Inferencija Phi s Apple MLX Frameworkom
  • Inferencija Phi na lokalnom poslužitelju
  • Inferencija Phi na udaljenom poslužitelju koristeći AI Toolkit
  • Inferencija Phi s Rust-om
  • Inferencija Phi--Vizija lokalno
  • Inferencija Phi s Kaito AKS, Azure Containers (službena podrška)

• Kvantificiranje Phi obitelji

  • Kvantiziranje Phi-3.5 / 4 koristeći llama.cpp
  • Kvantiziranje Phi-3.5 / 4 koristeći Generative AI ekstenzije za onnxruntime
  • Kvantiziranje Phi-3.5 / 4 koristeći Intel OpenVINO
  • Kvantiziranje Phi-3.5 / 4 koristeći Apple MLX Framework

• Evaluacija Phi

  • Odgovorni AI
  • Microsoft Foundry za evaluaciju
  • Korištenje Promptflow za evaluaciju

• RAG s Azure AI pretraživanjem

  • Kako koristiti Phi-4-mini i Phi-4-multimodal (RAG) s Azure AI pretraživanjem

• Primjeri razvoja Phi aplikacija

  • Tekstualne i chat aplikacije

    • Phi-4 primjeri
      • [📓] Čat sa Phi-4-mini ONNX modelom
      • Čat s Phi-4 lokalnim ONNX modelom .NET
      • Čat .NET konzolna aplikacija s Phi-4 ONNX koristeći Semantic Kernel
    • Phi-3 / 3.5 primjeri
      • Lokalni chatbot u pregledniku koristeći Phi3, ONNX Runtime Web i WebGPU
      • OpenVino Chat
      • Višestruki model - Interaktivni Phi-3-mini i OpenAI Whisper
      • MLFlow - Izrada omotača i korištenje Phi-3 s MLFlow
      • Optimizacija modela - Kako optimizirati model Phi-3-min za ONNX Runtime Web s Olive
      • WinUI3 aplikacija s Phi-3 mini-4k-instruct-onnx -WinUI3 Višestruki model AI pokretana aplikacija za bilješke primjeri
      • Fino podešavanje i integracija prilagođenih Phi-3 modela s Prompt flow
      • Fino podešavanje i integracija prilagođenih Phi-3 modela s Prompt flow u Microsoft Foundry
      • Evaluacija fino podešenih Phi-3 / Phi-3.5 modela u Microsoft Foundry s fokusom na Microsoftova načela Odgovornog AI
      • [📓] Phi-3.5-mini-instruct uzorak za predviđanje jezika (kineski/engleski)
      • Phi-3.5-Instruct WebGPU RAG chatbot
      • Korištenje Windows GPU-a za stvaranje rješenja Prompt flow s Phi-3.5-Instruct ONNX
      • Korištenje Microsoft Phi-3.5 tflite za stvaranje Android aplikacije
      • Pitanja i odgovori .NET primjer koristeći lokalni ONNX Phi-3 model koristeći Microsoft.ML.OnnxRuntime
      • Konzolna chat .NET aplikacija sa Semantic Kernel i Phi-3

  • Azure AI Inference SDK primjeri bazirani na kodu

    • Phi-4 primjeri
      • [📓] Generiranje koda projekta koristeći Phi-4-multimodal
    • Phi-3 / 3.5 primjeri
      • Izgradite vlastiti Visual Studio Code GitHub Copilot Chat s Microsoft Phi-3 obitelji
      • Stvorite vlastitog Visual Studio Code Chat Copilot agenta s Phi-3.5 putem GitHub modela

  • Napredni uzorci rezoniranja

    • Phi-4 primjeri
      • [📓] Phi-4-mini-reasoning ili Phi-4-reasoning primjeri
      • [📓] Fino podešavanje Phi-4-mini-reasoning s Microsoft Olive
      • [📓] Fino podešavanje Phi-4-mini-reasoning s Apple MLX
      • [📓] Phi-4-mini-reasoning s GitHub modelima
      • [📓] Phi-4-mini-reasoning s Microsoft Foundry modelima

  • Demos

    • Phi-4-mini demonstracije hostane na Hugging Face Spaces
    • Phi-4-multimodal demonstracije hostane na Hugginge Face Spaces

  • Primjeri za vid

    • Phi-4 primjeri
      • [📓] Koristite Phi-4-multimodal za čitanje slika i generiranje koda
    • Phi-3 / 3.5 primjeri
      • [📓]Phi-3-vision-Slika tekst u tekst
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP ugradnja
      • DEMO: Phi-3 recikliranje
      • Phi-3-vision - vizualni jezični asistent - s Phi3-Vision i OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision uzorak s više okvira ili više slika
      • Phi-3 Vision lokalni ONNX model koristeći Microsoft.ML.OnnxRuntime .NET
      • Izbornik bazirani Phi-3 Vision lokalni ONNX model koristeći Microsoft.ML.OnnxRuntime .NET

  • Uzorci rezoniranja i vida

    • Phi-4-Reasoning-Vision-15B
      • [📓] Korištenje Phi-4-Reasoning-Vision-15B za detekciju nezakonitog prelaska ceste
      • [📓] Korištenje Phi-4-Reasoning-Vision-15B za matematiku
      • [📓] Korištenje Phi-4-Reasoning-Vision-15B za detekciju UI

  • Matematički primjeri

    • Phi-4-Mini-Flash-Reasoning-Instruct primjeri Matematička demonstracija s Phi-4-Mini-Flash-Reasoning-Instruct

  • Audio primjeri

    • Phi-4 primjeri
      • [📓] Izdvajanje audio transkripata koristeći Phi-4-multimodal
      • [📓] Phi-4-multimodal audio primjer
      • [📓] Phi-4-multimodal primjer govornog prijevoda
      • .NET konzolna aplikacija koristeći Phi-4-multimodal audio za analizu audio datoteke i generiranje transkripta

  • MOE primjeri

    • Phi-3 / 3.5 primjeri
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) primjer na društvenim mrežama
      • [📓] Izgradnja Retrieval-Augmented Generation (RAG) pipeline-a s NVIDIA NIM Phi-3 MOE, Azure AI Search i LlamaIndex

  • Primjeri poziva funkcija

    • Phi-4 primjeri 🆕
      • [📓] Korištenje poziva funkcija s Phi-4-mini
      • [📓] Korištenje poziva funkcija za stvaranje multi-agenta s Phi-4-mini
      • [📓] Korištenje poziva funkcija s Ollama
      • [📓] Korištenje poziva funkcija s ONNX

  • Primjeri miješanja multimodala

    • Phi-4 primjeri 🆕
      • [📓] Korištenje Phi-4-multimodal kao tehnološki novinar
      • .NET konzolna aplikacija koristeći Phi-4-multimodal za analizu slika

• Fino podešavanje Phi primjera

  • Scenariji fino podešavanja
  • Fino podešavanje vs RAG
  • Fino podešavanje neka Phi-3 postane industrijski stručnjak
  • Fino podešavanje Phi-3 s AI Toolkit za VS Code
  • Fino podešavanje Phi-3 s Azure Machine Learning Service
  • Fino podešavanje Phi-3 s Lora
  • Fino podešavanje Phi-3 s QLora
  • Fino podešavanje Phi-3 s Microsoft Foundry
  • Fino podešavanje Phi-3 s Azure ML CLI/SDK
  • Fino podešavanje s Microsoft Olive
  • Fino podešavanje s Microsoft Olive praktična radionica
  • Fino podešavanje Phi-3-vision s Weights and Bias
  • Fino podešavanje Phi-3 s Apple MLX Framework
  • Fino podešavanje Phi-3-vision (službena podrška)
  • Fino podešavanje Phi-3 s Kaito AKS, Azure kontejnerima (službena podrška)
  • Fino podešavanje Phi-3 i 3.5 Vision

• Praktična radionica

  • Istraživanje najnovijih modela: LLM-ovi, SLM-ovi, lokalni razvoj i više
  • Otključavanje potencijala NLP-a: fino podešavanje s Microsoft Olive

• Akademski istraživački radovi i publikacije

  • Udžbenici su sve što vam treba II: tehnički izvještaj phi-1.5
  • Phi-3 tehnički izvještaj: vrlo sposoban jezični model lokalno na vašem telefonu
  • Phi-4 tehnički izvještaj
  • Phi-4-Mini tehnički izvještaj: kompaktni, ali moćni multimodalni jezični modeli putem mješavine LoRA-e
  • Optimizacija malih jezičnih modela za pozivanje funkcija u vozilu
  • (WhyPHI) Fino podešavanje PHI-3 za odgovore na pitanja s višestrukim izborom: metodologija, rezultati i izazovi
  • Phi-4-reasoning tehnički izvještaj
  • Phi-4-mini-reasoning tehnički izvještaj

Korištenje Phi modela

Phi na Microsoft Foundry

Možete naučiti kako koristiti Microsoft Phi i kako izgraditi E2E rješenja na različitim hardverskim uređajima. Za vlastito isprobavanje Phi-a, započnite s igranjem s modelima i prilagođavanjem Phi za vaše scenarije koristeći Microsoft Foundry Azure AI Model Catalog više možete saznati u Uvod u Microsoft Foundry

Igralište
Svaki model ima posebno igralište za testiranje modela Azure AI Playground.

Phi na GitHub modelima

Možete naučiti kako koristiti Microsoft Phi i kako izgraditi E2E rješenja na različitim hardverskim uređajima. Za vlastito isprobavanje Phi-a, započnite s igranjem s modelom i prilagođavanjem Phi za vaše scenarije koristeći GitHub Model Catalog više možete saznati u Uvod u GitHub Model Catalog

Igralište
Svaki model ima posebno igralište za testiranje modela.

Phi na Hugging Face

Model također možete pronaći na Hugging Face

Igralište
Hugging Chat igralište

🎒 Ostali tečajevi

Naš tim proizvodi i druge tečajeve! Pogledajte:

LangChain

Azure / Edge / MCP / Agent

---

Generativni AI serijal

---

Osnovno učenje

---

Copilot serijal

Odgovorni AI

Microsoft se obvezuje pomoći našim korisnicima u odgovornom korištenju AI proizvoda, dijeljenju naših saznanja i izgradnji partnerstava zasnovanih na povjerenju putem alata poput Transparency Notes i Impact Assessments. Mnogi od tih resursa dostupni su na https://aka.ms/RAI.
Microsoftov pristup odgovornom AI temelji se na našim AI principima pravednosti, pouzdanosti i sigurnosti, privatnosti i sigurnosti, uključivosti, transparentnosti i odgovornosti.

Veliki modeli za prirodni jezik, sliku i govor - poput onih korištenih u ovom primjeru - mogu potencijalno imati ponašanja koja su nepravedna, nepouzdana ili uvredljiva, što može uzrokovati štetu. Molimo pogledajte Azure OpenAI service Transparency note kako biste bili informirani o rizicima i ograničenjima. Preporučeni pristup za ublažavanje ovih rizika je uključivanje sigurnosnog sustava u vašu arhitekturu koji može otkriti i spriječiti štetno ponašanje. Azure AI Content Safety pruža neovisni sloj zaštite, sposoban za otkrivanje štetnog sadržaja kojeg generiraju korisnici i AI u aplikacijama i servisima. Azure AI Content Safety uključuje tekstualne i slikovne API-je koji vam omogućuju otkrivanje štetnog materijala. Unutar Microsoft Foundry, servis Content Safety omogućuje vam pregled, istraživanje i isprobavanje primjera koda za otkrivanje štetnog sadržaja kroz različite modalitete. Sljedeća brza uputa vodi vas kroz slanje zahtjeva servisu.

Drugi aspekt koji treba uzeti u obzir je opća izvedba aplikacije. Kod multimodalnih i multimodelskih aplikacija smatramo da izvedba znači da sustav radi kako vi i vaši korisnici očekujete, uključujući i ne-generiranje štetnih izlaza. Važno je procijeniti izvedbu vaše ukupne aplikacije koristeći Evaluatore izvedbe i kvalitete te rizika i sigurnosti. Također imate mogućnost kreirati i ocjenjivati s prilagođenim evaluatorima.

Svoju AI aplikaciju možete evaluirati u vašem razvojnom okruženju koristeći Azure AI Evaluation SDK. Na osnovi testnog skupa podataka ili cilja, generacije vaše generativne AI aplikacije kvantitativno se mjere ugrađenim ili prilagođenim evaluatorima po vašem izboru. Za početak s azure ai evaluation sdk za evaluaciju vašeg sustava, možete pratiti brz vodič. Nakon što provedete evaluaciju, možete vizualizirati rezultate u Microsoft Foundry.

Zaštitni znakovi

Ovaj projekt može sadržavati zaštitne znakove ili logotipe za projekte, proizvode ili usluge. Ovlaštena upotreba Microsoftovih zaštitnih znakova ili logotipa podliježe i mora slijediti Microsoftove smjernice za zaštitne znakove i brend. Upotreba Microsoftovih zaštitnih znakova ili logotipa u modificiranim verzijama ovog projekta ne smije izazvati zbunjenost niti implicirati sponzorstvo Microsofta. Bilo koja upotreba zaštitnih znakova ili logotipa trećih strana podliježe pravilima tih trećih strana.

Dobivanje pomoći

Ako zapnete ili imate pitanja o izradi AI aplikacija, pridružite se:

Ako imate povratne informacije o proizvodu ili greške tijekom izrade, posjetite:

---

Odricanje od odgovornosti: Ovaj dokument je preveden pomoću AI usluge za prijevod Co-op Translator. Iako težimo točnosti, imajte na umu da automatski prijevodi mogu sadržavati pogreške ili netočnosti. Izvorni dokument na izvornom jeziku treba se smatrati autoritativnim izvorom. Za ključne informacije preporučuje se profesionalni ljudski prijevod. Nismo odgovorni za bilo kakva nerazumijevanja ili pogrešne interpretacije koje proizlaze iz upotrebe ovog prijevoda.