Skip to content

E2E_Phi-3-mini_with_whisper.md

Latest commit

 

History

History
104 lines (71 loc) · 5.56 KB

E2E_Phi-3-mini_with_whisper.md

File metadata and controls

104 lines (71 loc) · 5.56 KB
Raw

Interaktiivinen Phi 3 Mini 4K Instruct -chatbot Whisperillä

Yleiskatsaus

Interaktiivinen Phi 3 Mini 4K Instruct -chatbot on työkalu, jonka avulla käyttäjät voivat olla vuorovaikutuksessa Microsoft Phi 3 Mini 4K instruct -demolla tekstin tai äänen avulla. Chatbotia voi käyttää monenlaisiin tehtäviin, kuten kääntämiseen, sääpäivityksiin ja yleiseen tiedonhakuun.

Aloittaminen

Käyttääksesi tätä chatbotia noudata seuraavia ohjeita:

  1. Avaa uusi E2E_Phi-3-mini-4k-instruct-Whispser_Demo.ipynb
  2. Muistikirjan pääikkunassa näet chat-ikkunan, jossa on tekstikenttä ja "Send"-painike.
  3. Käyttääksesi tekstipohjaista chatbotia, kirjoita viestisi tekstikenttään ja klikkaa "Send"-painiketta. Chatbot vastaa äänitiedostolla, jonka voi toistaa suoraan muistikirjan sisällä.

Huomautus: Tämä työkalu vaatii GPU:n ja pääsyn Microsoft Phi-3- ja OpenAI Whisper -malleihin, joita käytetään puheentunnistukseen ja käännökseen.

GPU-vaatimukset

Tämän demon suorittamiseen tarvitset 12 Gt GPU-muistia.

Microsoft-Phi-3-Mini-4K instruct -demon muistivaatimukset GPU:lla riippuvat useista tekijöistä, kuten syöteaineiston (ääni tai teksti) koosta, käännökseen käytettävästä kielestä, mallin nopeudesta ja GPU:n käytettävissä olevasta muistista.

Yleisesti Whisper-malli on suunniteltu pyörimään GPU:lla. Suositeltu vähimmäismäärä GPU-muistia Whisper-mallin ajoon on 8 Gt, mutta se voi käsitellä suurempaakin muistimäärää tarvittaessa.

On tärkeää huomata, että suuren datamäärän tai suuren pyyntömääärän käsitteleminen mallissa voi vaatia enemmän GPU-muistia ja/tai aiheuttaa suorituskykyongelmia. Suositellaan testaamaan käyttötapaasi eri kokoonpanoilla ja seuraamaan muistin käyttöä optimaalisimman asetuksen löytämiseksi juuri sinun tarpeisiisi.

E2E-esimerkki interaktiivisesta Phi 3 Mini 4K Instruct -chatbotista Whisperillä

Jupyter-muistikirja nimeltä Interactive Phi 3 Mini 4K Instruct Chatbot with Whisper demonstroi, kuinka Microsoft Phi 3 Mini 4K instruct Demoa käytetään tekstin luomiseen ääni- tai tekstisyötteestä. Muistikirjassa on määritelty useita toimintoja:

  1. tts_file_name(text): Tämä funktio generoi tiedostonimen syötteen tekstin perusteella luodun äänitiedoston tallentamista varten.
  2. edge_free_tts(chunks_list,speed,voice_name,save_path): Tämä funktio käyttää Edge TTS -APIa luodakseen äänitiedoston syötetekstin paloista. Syötteenä ovat palojen lista, puhenopeus, äänen nimi ja tallennuspolku generoidulle äänitiedostolle.
  3. talk(input_text): Tämä funktio generoi äänitiedoston käyttämällä Edge TTS -APIa ja tallentaa sen satunnaiseen tiedostoon hakemistossa /content/audio. Syötteenä on puheeksi muunnettava teksti.
  4. run_text_prompt(message, chat_history): Tämä funktio käyttää Microsoft Phi 3 Mini 4K instruct -demoa luodakseen äänitiedoston viesti-syötteestä ja lisää sen keskusteluhistoriaan.
  5. run_audio_prompt(audio, chat_history): Tämä funktio muuntaa äänitiedoston tekstiksi Whisper-mallin API:n avulla ja antaa sen run_text_prompt() -funktiolle.
  6. Koodi käynnistää Gradio-sovelluksen, joka mahdollistaa käyttäjien vuorovaikutuksen Phi 3 Mini 4K instruct -demon kanssa kirjoittamalla viestejä tai lataamalla äänitiedostoja. Tuloste näytetään tekstiviestinä sovelluksessa.

Ongelmien ratkaisu

Cuda GPU -ajureiden asennus

  1. Varmista, että Linux-sovelluksesi ovat ajan tasalla

    sudo apt update

  2. Asenna Cuda-ajurit

    sudo apt install nvidia-cuda-toolkit

  3. Rekisteröi cuda-ajurin sijainti

    echo /usr/lib64-nvidia/ >/etc/ld.so.conf.d/libcuda.conf; ldconfig

  4. Tarkista Nvidia GPU:n muistin koko (vaadittu 12 Gt GPU-muistia)

    nvidia-smi

  5. Tyhjennä välimuisti: Jos käytät PyTorchia, voit kutsua torch.cuda.empty_cache()-funktiota vapauttaaksesi kaiken käyttämättömän välimuistin, jotta muut GPU-sovellukset voivat käyttää sitä

    torch.cuda.empty_cache()

  6. Tarkista Nvidia Cuda

    nvcc --version

  7. Suorita seuraavat toimenpiteet luodaksesi Hugging Face -tokenin.

Note

Jos kohtaat seuraavan virheen:

/sbin/ldconfig.real: Can't create temporary cache file /etc/ld.so.cache~: Permission denied

Ratkaistaksesi ongelman, kirjoita seuraava komento terminaaliisi.

sudo ldconfig

Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, ole hyvä ja huomioi, että automaattikäännöksissä voi esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulisi pitää luotettavana lähteenä. Tärkeissä tiedoissa suosittelemme ammattimaisen ihmiskääntäjän palvelujen käyttöä. Emme ole vastuussa tämän käännöksen käytöstä johtuvista väärinymmärryksistä tai tulkinnoista.