Arvioi hienosäädetty Phi-3 / Phi-3.5 -malli Microsoft Foundryssa keskittyen Microsoftin vastuullisen tekoälyn periaatteisiin
Tämä kokonaisvaltainen (E2E) esimerkki perustuu Microsoft Tech Communityn oppaaseen "Evaluate Fine-tuned Phi-3 / 3.5 Models in Microsoft Foundry Focusing on Microsoft's Responsible AI".
Kuinka voit arvioida hienosäädetyn Phi-3 / Phi-3.5 -mallin turvallisuutta ja suorituskykyä Microsoft Foundryssa?
Mallin hienosäätö voi joskus johtaa tahattomiin tai ei-toivottuihin vastauksiin. Varmistaaksesi, että malli pysyy turvallisena ja tehokkaana, on tärkeää arvioida mallin potentiaali tuottaa haitallista sisältöä ja sen kyky tuottaa tarkkoja, relevantteja ja johdonmukaisia vastauksia. Tässä opetusohjelmassa opit, kuinka arvioida hienosäädetyn Phi-3 / Phi-3.5 -mallin turvallisuus ja suorituskyky, joka on integroitu Prompt flow'hun Microsoft Foundryssa.
Tässä on Microsoft Foundryn arviointiprosessi.
Kuvien lähde: Evaluation of generative AI applications
Note
Lisätietoja ja lisäresursseja Phi-3 / Phi-3.5:sta löydät osoitteesta Phi-3CookBook.
- Python
- Azure-tilaus
- Visual Studio Code
- Hienosäädetty Phi-3 / Phi-3.5 -malli
-
Skenaario 1: Johdatus Microsoft Foundryn Prompt flow -arviointiin
-
Skenaario 2: Phi-3 / Phi-3.5 -mallin arviointi Microsoft Foundryssa
Varmistaaksesi, että tekoälymallisi on eettinen ja turvallinen, on ratkaisevan tärkeää arvioida sitä Microsoftin vastuullisen tekoälyn periaatteiden mukaisesti. Microsoft Foundryssa turvallisuusarvioinnit antavat mahdollisuuden arvioida mallisi alttiutta jailbreak-hyökkäyksille ja sen potentiaalia tuottaa haitallista sisältöä, mikä on suoraan linjassa näiden periaatteiden kanssa.
Kuvien lähde: Evaluation of generative AI applications
Ennen teknisten vaiheiden aloittamista on tärkeää ymmärtää Microsoftin vastuullisen tekoälyn periaatteet, eettinen kehys, jonka tarkoituksena on ohjata vastuullista tekoälyjärjestelmien kehitystä, käyttöönottoa ja toimintaa. Nämä periaatteet ohjaavat tekoälyjärjestelmien vastuullista suunnittelua, kehitystä ja käyttöönottoa varmistaen, että tekoälyteknologiat rakennetaan oikeudenmukaisesti, läpinäkyvästi ja osallisesti. Nämä periaatteet muodostavat perustan tekoälymallien turvallisuuden arvioinnille.
Microsoftin vastuullisen tekoälyn periaatteisiin kuuluu:
-
Oikeudenmukaisuus ja osallisuus: Tekoälyjärjestelmien tulee kohdella kaikkia oikeudenmukaisesti eikä vaikuttaa eri tavoin samankaltaisissa tilanteissa oleviin ryhmiin. Esimerkiksi, kun tekoälyjärjestelmät antavat ohjeita lääketieteellisessä hoidossa, lainahakemuksissa tai työhönotossa, niiden tulisi tehdä samat suositukset kaikille, joilla on samankaltaiset oireet, taloudelliset olosuhteet tai ammatilliset pätevyydet.
-
Luotettavuus ja turvallisuus: Luottamuksen rakentamiseksi on kriittistä, että tekoälyjärjestelmät toimivat luotettavasti, turvallisesti ja johdonmukaisesti. Näiden järjestelmien tulee pystyä toimimaan alkuperäisen suunnittelun mukaisesti, reagoimaan turvallisesti odottamattomiin tilanteisiin ja vastustamaan haitallista manipulointia. Miten ne käyttäytyvät ja miten monenlaisiin tilanteisiin ne kykenevät, heijastaa niitä tilanteita ja olosuhteita, joita kehittäjät odottivat suunnittelun ja testauksen aikana.
-
Läpinäkyvyys: Kun tekoälyjärjestelmät auttavat tekemään päätöksiä, joilla on valtava vaikutus ihmisten elämään, on kriittistä, että ihmiset ymmärtävät, miten nämä päätökset tehtiin. Esimerkiksi pankki saattaa käyttää tekoälyjärjestelmää päättääkseen, onko henkilö luottokelpoinen. Yritys saattaa käyttää tekoälyjärjestelmää päätökseen siitä, ketkä ehdokkaista ovat pätevimpiä palkattavaksi.
-
Yksityisyys ja turvallisuus: Kun tekoälystä tulee yhä yleisempää, yksityisyyden suojaaminen ja henkilö- sekä yritystiedon turvallisuus käyvät yhä tärkeämmiksi ja monimutkaisemmiksi. Tekoälyssä yksityisyys ja tietoturva vaativat tarkkaa huomiota, koska datan saatavuus on välttämätöntä tekoälyjärjestelmien kyvylle tehdä tarkkoja ja tietoon perustuvia ennusteita ja päätöksiä ihmisistä.
-
Vastuullisuus: Tekoälyjärjestelmien suunnittelijoiden ja käyttöönotosta vastaavien henkilöiden tulee olla vastuussa siitä, miten järjestelmät toimivat. Organisaatioiden tulisi hyödyntää alan standardeja kehittääkseen vastuullisuuden normeja. Nämä normit voivat varmistaa, ettei tekoälyjärjestelmistä tule lopullista auktoriteettia päätöksissä, jotka vaikuttavat ihmisten elämään. Ne voivat myös taata, että ihmiset säilyttävät merkityksellisen hallinnan muuten hyvin autonomisiin tekoälyjärjestelmiin.
Kuvien lähde: What is Responsible AI?
Note
Lisätietoja Microsoftin vastuullisen tekoälyn periaatteista löydät osoitteesta What is Responsible AI?.
Tässä opetusohjelmassa arvioit hienosäädetyn Phi-3 -mallin turvallisuutta Microsoft Foundryn turvallisuusmittareilla. Nämä mittarit auttavat arvioimaan mallin potentiaalia tuottaa haitallista sisältöä ja sen alttiutta jailbreak-hyökkäyksille. Turvallisuusmittareihin kuuluvat:
- Itseä vahingoittava sisältö: Arvioi, onko mallilla taipumusta tuottaa itseä vahingoittavaa sisältöä.
- Vihamielinen ja epäoikeudenmukainen sisältö: Arvioi, onko mallilla taipumusta tuottaa vihamielistä tai epäoikeudenmukaista sisältöä.
- Väkivaltainen sisältö: Arvioi, onko mallilla taipumusta tuottaa väkivaltaista sisältöä.
- Seksuaalissävytteinen sisältö: Arvioi, onko mallilla taipumusta tuottaa sopimatonta seksuaalissävytteistä sisältöä.
Näiden näkökohtien arvioiminen varmistaa, etteivät tekoälymallit tuota haitallista tai loukkaavaa sisältöä, ja ne vastaavat yhteiskunnan arvoja sekä sääntelyvaatimuksia.
Varmistaaksesi, että tekoälymallisi toimii odotetusti, on tärkeää arvioida sen suorituskykyä suorituskykymittareiden avulla. Microsoft Foundryssa suorituskyvyn arvioinnit antavat mahdollisuuden arvioida mallisi tehokkuutta tuottaa tarkkoja, relevantteja ja johdonmukaisia vastauksia.
Kuvien lähde: Evaluation of generative AI applications
Tässä opetusohjelmassa arvioit hienosäädetyn Phi-3 / Phi-3.5 -mallin suorituskykyä Microsoft Foundryn suorituskykymittareilla. Nämä mittarit auttavat arvioimaan mallin tehokkuutta tuottaa tarkkoja, relevantteja ja johdonmukaisia vastauksia. Suorituskykymittareihin kuuluvat:
- Perusteltavuus: Arvioi, kuinka hyvin tuotetut vastaukset vastaavat syötteestä saatavaa tietoa.
- Relevanssi: Arvioi tuotettujen vastausten olennaisuutta annettuihin kysymyksiin.
- Johdonmukaisuus: Arvioi, kuinka sujuvaa tuotettu teksti on, lukeutuuko se luonnollisesti ja muistuttaako se ihmisen tuottamaa kieltä.
- Sujuvuus: Arvioi tuotetun tekstin kielitaitoa.
- GPT:n samankaltaisuus: Vertaa tuotettua vastausta totuudenmukaiseen vastaukseen samankaltaisuuden osalta.
- F1-pistemäärä: Laskee jaetun sanaston osuuden tuotetun vastauksen ja lähdetiedon välillä.
Nämä mittarit auttavat arvioimaan mallin tehokkuutta tuottaa tarkkoja, relevantteja ja johdonmukaisia vastauksia.
Tämä opetusohjelma on jatkoa aiemmille blogikirjoituksille, "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow: Step-by-Step Guide" sekä "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow in Microsoft Foundry." Näissä kirjoituksissa kävimme läpi Phi-3 / Phi-3.5 -mallin hienosäädön Microsoft Foundryssa ja integroinnin Prompt flow'hun.
Tässä opetusohjelmassa otat käyttöön Azure OpenAI -mallin arvioijana Microsoft Foundryssa ja käytät sitä arvioimaan hienosäädettyä Phi-3 / Phi-3.5 -malliasi.
Ennen tämän opetusohjelman aloittamista varmista, että sinulla on seuraavat esivaatimukset, kuten edellisissä opetusohjelmissa on kuvattu:
- Valmis datasetti hienosäädetyn Phi-3 / Phi-3.5 -mallin arvioimiseen.
- Phi-3 / Phi-3.5 -malli, joka on hienosäädetty ja otettu käyttöön Azure Machine Learningissä.
- Prompt flow, joka on integroitu hienosäädettyyn Phi-3 / Phi-3.5 -malliisi Microsoft Foundryssa.
Note
Käytät test_data.jsonl-tiedostoa, joka sijaitsee tietokansiossa ULTRACHAT_200k -datasetin mukana aiemmista blogikirjoituksista ladattuna, datasetinä hienosäädetyn Phi-3 / Phi-3.5 -mallin arviointiin.
Integroi oma Phi-3 / Phi-3.5 -malli Prompt flow'hun Microsoft Foundryssa (Code first -lähestymistapa)
Note
Jos seurasit vähäisen koodin lähestymistapaa, joka on kuvattu kirjoituksessa "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow in Microsoft Foundry", voit ohittaa tämän harjoituksen ja siirtyä seuraavaan. Kuitenkin, jos seurasit code first -lähestymistapaa, joka on kuvattu kirjoituksessa "Fine-Tune and Integrate Custom Phi-3 Models with Prompt Flow: Step-by-Step Guide" hienosäätääksesi ja ottaaksesi käyttöön Phi-3 / Phi-3.5 -mallisi, mallin yhdistäminen Prompt flow'hun poikkeaa hieman. Opi tämä prosessi tässä harjoituksessa.
Jatkaaksesi sinun tulee integroida hienosäädetty Phi-3 / Phi-3.5 -mallisi Prompt flow'hun Microsoft Foundryssa.
Ennen projektin luomista sinun täytyy luoda Hub. Hub toimii kuin resurssiryhmä, jonka avulla voit järjestää ja hallita useita projekteja Microsoft Foundryssa.
-
Kirjaudu sisään Microsoft Foundry.
-
Valitse vasemman puolen välilehdestä All hubs.
-
Valitse navigointivalikosta + New hub.
-
Suorita seuraavat tehtävät:
- Syötä Hub name. Sen on oltava ainutlaatuinen arvo.
- Valitse Azure-tilauksesi Subscription.
- Valitse käytettävä Resource group (luo uusi tarvittaessa).
- Valitse haluamasi Location.
- Valitse käytettävä Connect Azure AI Services (luo uusi tarvittaessa).
- Valitse Connect Azure AI Search -asetukseksi Skip connecting.
-
Valitse Next.
-
Luomassasi Hubissa valitse vasemman puolen välilehdestä All projects.
-
Valitse navigointivalikosta + New project.
-
Syötä Project name. Sen on oltava ainutlaatuinen arvo.
-
Valitse Create a project.
Integroiaksesi mukautetun Phi-3 / Phi-3.5 -mallisi Prompt flow -työkaluun, sinun on tallennettava mallin päätepiste ja avain mukautettuun yhteyteen. Tämä varmistaa pääsyn mukautettuun Phi-3 / Phi-3.5 -malliisi Prompt flow’ssa.
-
Siirry osoitteeseen Azure ML Studio.
-
Siirry luomaasi Azure Machine Learning -työtilaan.
-
Valitse vasemman puolen välilehdestä Endpoints.
-
Valitse luomasi päätepiste.
-
Valitse navigointivalikosta Consume.
-
Kopioi REST endpoint ja Primary key.
-
Siirry osoitteeseen Microsoft Foundry.
-
Siirry luomaasi Microsoft Foundry -projektiin.
-
Valitse luomassasi projektissa vasemman puolen välilehdestä Settings.
-
Valitse + New connection.
-
Valitse navigointivalikosta Custom keys.
-
Suorita seuraavat tehtävät:
- Valitse + Add key value pairs.
- Anna avaimen nimeksi endpoint ja liitä aiemmin Azure ML Studiosta kopioimasi päätepiste arvokenttään.
- Valitse uudestaan + Add key value pairs.
- Anna avaimen nimeksi key ja liitä aiemmin kopioimasi avain arvokenttään.
- Kun avaimet on lisätty, valitse is secret estääksesi avaimen paljastumisen.
-
Valitse Add connection.
Olet lisännyt mukautetun yhteyden Microsoft Foundryssa. Luodaan nyt Prompt flow seuraavien ohjeiden mukaisesti. Tämän jälkeen yhdistät Prompt flow’n mukautettuun yhteyteen, jotta voit käyttää hienosäädettyä mallia Prompt flow’ssa.
-
Siirry luomaasi Microsoft Foundry -projektiin.
-
Valitse vasemman puolen välilehdestä Prompt flow.
-
Valitse navigointivalikosta + Create.
-
Valitse navigointivalikosta Chat flow.
-
Syötä käytettävän Folder name.
-
Valitse Create.
Sinun on integroitava hienosäädetty Phi-3 / Phi-3.5 -malli Prompt flow’hun. Nykyinen valmiiksi annettu Prompt flow ei ole suunniteltu tätä tarkoitusta varten, joten sinun on suunniteltava Prompt flow uudelleen, jotta mukautettu malli voidaan integroida.
-
Prompt flow’ssa suorita seuraavat tehtävät rakentaaksesi olemassa oleva flow uudelleen:
-
Valitse Raw file mode.
-
Poista kaikki nykyiset koodit tiedostosta flow.dag.yml.
-
Lisää alla oleva koodi tiedostoon flow.dag.yml.
inputs: input_data: type: string default: "Who founded Microsoft?" outputs: answer: type: string reference: ${integrate_with_promptflow.output} nodes: - name: integrate_with_promptflow type: python source: type: code path: integrate_with_promptflow.py inputs: input_data: ${inputs.input_data}
-
Valitse Save.
-
-
Lisää seuraava koodi tiedostoon integrate_with_promptflow.py, jotta voit käyttää mukautettua Phi-3 / Phi-3.5 -mallia Prompt flow’ssa.
import logging import requests from promptflow import tool from promptflow.connections import CustomConnection # Lokituksen asetukset logging.basicConfig( format="%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S", level=logging.DEBUG ) logger = logging.getLogger(__name__) def query_phi3_model(input_data: str, connection: CustomConnection) -> str: """ Send a request to the Phi-3 / Phi-3.5 model endpoint with the given input data using Custom Connection. """ # "connection" on Custom Connectionin nimi, "endpoint", "key" ovat avaimet Custom Connectionissa endpoint_url = connection.endpoint api_key = connection.key headers = { "Content-Type": "application/json", "Authorization": f"Bearer {api_key}" } data = { "input_data": [input_data], "params": { "temperature": 0.7, "max_new_tokens": 128, "do_sample": True, "return_full_text": True } } try: response = requests.post(endpoint_url, json=data, headers=headers) response.raise_for_status() # Kirjaa koko JSON-vastaus logger.debug(f"Full JSON response: {response.json()}") result = response.json()["output"] logger.info("Successfully received response from Azure ML Endpoint.") return result except requests.exceptions.RequestException as e: logger.error(f"Error querying Azure ML Endpoint: {e}") raise @tool def my_python_tool(input_data: str, connection: CustomConnection) -> str: """ Tool function to process input data and query the Phi-3 / Phi-3.5 model. """ return query_phi3_model(input_data, connection)
Note
Tarkempia tietoja Prompt flow’n käytöstä Microsoft Foundryssa löydät kohdasta Prompt flow in Microsoft Foundry.
-
Valitse Chat input, Chat output ottaaksesi käyttöön keskustelun mallisi kanssa.
-
Nyt olet valmis keskustelemaan mukautetun Phi-3 / Phi-3.5 -mallisi kanssa. Seuraavassa harjoituksessa opit, miten Prompt flow käynnistetään ja miten sitä käytetään hienosäädetyn Phi-3 / Phi-3.5 -mallin kanssa keskusteluun.
-
Valitse Start compute sessions aloittaaksesi Prompt flow’n.
-
Valitse Validate and parse input päivittääksesi parametrit.
-
Valitse connection-kohdassa se arvo, joka vastaa luomaasi mukautettua yhteyttä. Esimerkiksi connection.
-
Valitse Chat.
-
Tässä on esimerkki tuloksista: Nyt voit keskustella mukautetun Phi-3 / Phi-3.5 -mallisi kanssa. Suositeltavaa on esittää kysymyksiä, jotka perustuvat hienosäätödatan sisältöön.
Phi-3 / Phi-3.5 -mallin arvioimiseksi Microsoft Foundryssa sinun tulee ottaa käyttöön Azure OpenAI -malli. Tätä mallia käytetään Phi-3 / Phi-3.5 -mallin suorituskyvyn arvioimiseen.
-
Kirjaudu sisään Microsoft Foundry.
-
Siirry luomaasi Microsoft Foundry -projektiin.
-
Valitse projektissa vasemman puolen välilehdestä Deployments.
-
Valitse navigointivalikosta + Deploy model.
-
Valitse Deploy base model.
-
Valitse käytettäväksi haluamasi Azure OpenAI -malli. Esimerkiksi gpt-4o.
-
Valitse Confirm.
-
Siirry osoitteeseen Microsoft Foundry.
-
Siirry luomaasi Microsoft Foundry -projektiin.
-
Valitse projektissasi vasemman puolen välilehdestä Evaluation.
-
Valitse navigointivalikosta + New evaluation.
-
Valitse Prompt flow -arviointi.
-
Suorita seuraavat tehtävät:
- Syötä arvioinnille nimi. Sen on oltava ainutlaatuinen arvo.
- Valitse tehtävätyypiksi Question and answer without context. Tämä johtuu siitä, että tässä opastuksessa käytetty ULTRACHAT_200k-aineisto ei sisällä kontekstia.
- Valitse arvioitava prompt flow.
-
Valitse Next.
-
Suorita seuraavat tehtävät:
- Valitse Add your dataset ladataksesi aineiston. Esimerkiksi voit ladata testiaineistotiedoston, kuten test_data.json1, joka sisältyy ULTRACHAT_200k -aineistoon.
- Valitse sopiva Dataset column, joka vastaa aineistoasi. Esimerkiksi ULTRACHAT_200k -aineiston kohdalla valitse ${data.prompt} aineistosarakkeeksi.
-
Valitse Next.
-
Suorita seuraavat tehtävät suorituskyvyn ja laadun mittareiden määrittämiseksi:
- Valitse käytettävät suorituskyky- ja laatuarvot.
- Valitse arviointiin käyttämäsi Azure OpenAI -malli. Esimerkiksi gpt-4o.
-
Suorita seuraavat tehtävät riskien ja turvallisuuden mittareiden määrittämiseksi:
- Valitse käytettävät riski- ja turvallisuusmittarit.
- Valitse vikaprosentin laskentaan käytettävä kynnysarvo. Esimerkiksi Medium.
- Kysymykseksi valitse Data source arvoksi {$data.prompt}.
- Vastaukseksi valitse Data source arvoksi {$run.outputs.answer}.
- Totuustiedoksi valitse Data source arvoksi {$data.message}.
-
Valitse Next.
-
Valitse Submit aloittaaksesi arvioinnin.
-
Arviointi kestää jonkin aikaa. Voit seurata etenemistä Evaluation-välilehdellä.
Note
Alla esitetyt tulokset ovat tarkoitettu havainnollistamaan arviointiprosessia. Tässä opastuksessa olemme käyttäneet suhteellisen pieneen aineistoon hienosäädettyä mallia, mikä voi johtaa keskinkertaisiin tuloksiin. Todelliset tulokset voivat vaihdella huomattavasti aineiston koon, laadun ja monimuotoisuuden sekä mallin erityisen kokoonpanon mukaan.
Kun arviointi on valmis, voit tarkastella sekä suorituskyky- että turvallisuusmittareiden tuloksia.
-
Suorituskyky- ja laatumittarit:
- arvioi mallin tehokkuutta tuottaa johdonmukaisia, sujuvia ja asiaankuuluvia vastauksia.
-
Risiko- ja turvallisuusmittarit:
- Varmista, että mallin tuottamat tulokset ovat turvallisia ja noudattavat vastuullisen tekoälyn periaatteita, välttäen vahingollista tai loukkaavaa sisältöä.
-
Voit selata alas nähdäksesi Yksityiskohtaiset mittaustulokset.
-
Arvioimalla mukautetun Phi-3 / Phi-3.5 -mallisi sekä suorituskyky- että turvallisuusmittareilla voit varmistaa, että malli ei ole vain tehokas, vaan myös noudattaa vastuullisen tekoälyn käytäntöjä, tehden siitä valmiin käyttöön todellisissa ympäristöissä.
Olet onnistuneesti arvioinut hienosäädetyn Phi-3 -mallin, joka on integroitu Prompt flow'hun Microsoft Foundryn kautta. Tämä on tärkeä askel varmistamaan, että tekoälymallisi eivät ainoastaan toimi hyvin, vaan myös noudattavat Microsoftin Vastuullisen tekoälyn periaatteita auttaakseen sinua rakentamaan luotettavia ja luotettavia tekoälysovelluksia.
Siivoa Azure-resurssisi välttääksesi ylimääräisiä kuluja tilillesi. Mene Azure-portaaliin ja poista seuraavat resurssit:
- Azure Machine Learning -resurssi.
- Azure Machine Learning -mallin päätepiste.
- Microsoft Foundry Project -resurssi.
- Microsoft Foundry Prompt flow -resurssi.
- Arvioi tekoälyjärjestelmiä vastuullisen tekoälyn hallintapaneelin avulla
- Generatiivisen tekoälyn arviointi- ja seurantamittarit
- Microsoft Foundry -dokumentaatio
- Prompt flow -dokumentaatio
- Mitä on vastuullinen tekoäly?
- Uusien työkalujen julkistus Azure AI:ssa turvallisempien ja luotettavampien generatiivisten tekoälysovellusten rakentamiseksi
- Generatiivisten tekoälysovellusten arviointi
Vastuuvapauslauseke:
Tämä asiakirja on käännetty tekoälypohjaisella käännöspalvelulla Co-op Translator. Vaikka pyrimme tarkkuuteen, automaattisissa käännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäinen asiakirja sen alkuperäiskielellä tulee pitää auktoriteettisena lähteenä. Tärkeiden tietojen osalta suosittelemme ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.







































