Skip to content

E2E_Phi-3-mini_with_whisper.md

Latest commit

 

History

History
104 lines (71 loc) · 11.7 KB

E2E_Phi-3-mini_with_whisper.md

File metadata and controls

104 lines (71 loc) · 11.7 KB
Raw

ಇಂಟರೆಕ್ಟಿವ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಚಾಟ್‌ಬಾಟ್ ವಿದ್ ವಿಸ್ಪರ್

ಅವಲೋಕನ

ಇಂಟರೆಕ್ಟಿವ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಚಾಟ್‌ಬಾಟ್ ಬಳಕೆದಾರರಿಗೆ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಡೆಮೋವನ್ನು ಪಠ್ಯ ಅಥವಾ ಧ್ವನಿ ಇನ್‌ಪುಟ್ ಮೂಲಕ ಸಂವಹನ ಮಾಡಲು ಅನುಮತಿಸುವ ಸಾಧನವಾಗಿದೆ. ಈ ಚಾಟ್‌ಬಾಟ್ ಅನ್ನು ಅನುವಾದ, ಹವಾಮಾನ ಮಾಹಿತಿಗಳು ಮತ್ತು ಸಾಮಾನ್ಯ ಮಾಹಿತಿ ಸಂಗ್ರಹಣೆಯನ್ನು ಸೇರಿದಂತೆ ವಿವಿಧ ಕಾರ್ಯಗಳಿಗೆ ಬಳಸಬಹುದು.

ಪ್ರಾರಂಭಿಸುವುದು

ಈ ಚಾಟ್‌ಬಾಟ್ ಅನ್ನು ಬಳಸಲು, ಈ ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸಿ:

  1. ಹೊಸ E2E_Phi-3-mini-4k-instruct-Whispser_Demo.ipynb ಫೈಲ್ ಓಪನ್ ಮಾಡಿ
  2. ನೋಟ್ಬುಕ್‌ನ ಮುಖ್ಯ ವಿಂಡೋದಲ್ಲಿ, ನೀವು ಪಠ್ಯ ಇನ್‌ಪುಟ್ ಬಾಕ್ಸ್ ಮತ್ತು "Send" ಬಟನ್ ಜೊತೆಗೆ ಚಾಟ್‌ಬಾಕ್ಸ್ ಇಂಟರ್ಫೇಸ್ ಕಾಣುವದು.
  3. ಪಠ್ಯ ಆಧಾರಿತ ಚಾಟ್‌ಬಾಟ್ ಬಳಸಲು, ನೀವು ಕೇವಲ ನಿಮ್ಮ ಸಂದೇಶವನ್ನು ಪಠ್ಯ ಇನ್‌ಪುಟ್ ಬಾಕ್ಸ್‌ನಲ್ಲಿ ಟೈಪ್ ಮಾಡಿ, "Send" ಬಟನ್ ಕ್ಲಿಕ್ ಮಾಡಿ. ಚಾಟ್‌ಬಾಟ್ ನೇರವಾಗಿ ನೋಟ್ಬುಕ್‌ನೊಳಗಿನ ಆಡಿಯೋ ಫೈಲ್‌ನೊಂದಿಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುವದು.

ಗಮನಿಸಿ: ಈ ಸಾಧನಕ್ಕೆ GPU ಮತ್ತು ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೈ-3 ಮತ್ತು ಓಪನ್‌ಎಐ ವಿಸ್ಪರ್ ಮಾದರಿಗಳ ಪ್ರವೇಶವಿರಬೇಕು, ಇದು ಭಾಷಣ ಆಳ್ವಿಕೆ ಮತ್ತು ಅನುವಾದಕ್ಕಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

GPU ಅಗತ್ಯಗಳು

ಈ ಡೆಮೋವನ್ನು ಚಾಲನೆ ಮಾಡಲು ನಿಮಗೆ 12GB GPU ನೆಮ್ಮದಿ ಅಗತ್ಯವಿದೆ.

Microsoft-Phi-3-Mini-4K instruct ಡೆಮೋವನ್ನು GPU ಮೇಲೆ ಚಾಲನೆ ಮಾಡಲು ಅಗತ್ಯವಿರುವ ನೆಮ್ಮದಿ, ಇನ್‌ಪುಟ್ ಡೇಟಾ (ಆಡಿಯೋ ಅಥವಾ ಪಠ್ಯ) ಗಾತ್ರ, ಅನುವಾದಕ್ಕೆ ಬಳಸುವ ಭಾಷೆ, ಮಾದರಿಯ ವೇಗ ಮತ್ತು GPU ಲಭ್ಯವಿರುವ ನೆಮ್ಮದಿಗಳಂತಹ ಹಲವಾರು ಅಂಶಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ.

ಸಾಧಾರಣವಾಗಿ, ವಿಸ್ಪರ್ ಮಾದರಿ GPUಗಳ ಮೇಲೆ ಕಾರ್ಯ ನಿರ್ವಹಿಸಲು ವಿನ್ಯಾಸಗೊಳ್ಳಲಾಗಿದೆ. ವಿಸ್ಪರ್ ಮಾದರಿ ಕಾರ್ಯಾಚರಣೆಗೆ ಶಿಫಾರಸು ಮಾಡಲಾದ ಕನಿಷ್ಠ GPU ನೆಮ್ಮದಿ 8 GB ಆಗಿದೆ, ಆದರೆ ಅಗತ್ಯವಿದ್ದರೆ ಹೆಚ್ಚು ನೆಮ್ಮದಿಯನ್ನು ಹ್ಯಾಂಡಲ್ ಮಾಡಬಹುದು.

ಬಹುತೇಕ ಡೇಟಾ ಅಥವಾ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ವಿನಂತಿಗಳನ್ನು ಚಾಲನೆ ಮಾಡುವುದು ಹೆಚ್ಚಿನ GPU ನೆಮ್ಮದಿಯನ್ನು ಅವಶ್ಯಕವಾಗಿಸಬಹುದು ಅಥವಾ ಕಾರ್ಯಕ್ಷಮತೆಯ ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡಬಹುದು. ನಿಮ್ಮ ಉಪಯೋಗದ ಪ್ರಕರಣವನ್ನು ವಿಭಿನ್ನ ಸಂರಚನೆಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ ಮತ್ತು ನೆಮ್ಮದಿ ಬಳಕೆಯನ್ನು ನಿಗಾ ವಹಿಸುವುದು ನಿಮಗೆ ಅನುಕೂಲಕರವಾದ ಸುಧಾರಿತ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಶಿಫಾರಸು ಮಾಡಲಾಗಿದೆ.

ಇಂಟರೆಕ್ಟಿವ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಚಾಟ್‌ಬಾಟ್ ವಿದ್ ವಿಸ್ಪರ್ - E2E ಮಾದರಿ

ಇಂಟರೆಕ್ಟಿವ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಚಾಟ್‌ಬಾಟ್ ವಿದ್ ವಿಸ್ಪರ್ ಎಂಬ ಜೂಪಿಟರ್ ನೋಟ್ಬುಕ್ ಮಾದರಿಯಲ್ಲಿ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಡೆಮೋವನ್ನು ಕೇಳುವ ಅಥವಾ ಬರೆದ ಪಠ್ಯ ಆಧಾರದಿಂದ ಪಠ್ಯ ಸಂದೇಶವನ್ನು ತಯಾರಿಸುವ ವಿಧಾನವನ್ನು ತೋರಿಸುತ್ತದೆ. ಈ ನೋಟ್ಬುಕ್ ಕೆಲವು ಕಾರ್ಯಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ:

  1. tts_file_name(text): ಈ ಕಾರ್ಯಾಚರಣೆ ಉಂಟಾದ ಆಡಿಯೋ ಫೈಲ್ ಅನ್ನು ಉಳಿಸಲು ಇನ್‌ಪುಟ್ ಪಠ್ಯ ಆಧಾರದ ಮೇಲೆ ಫೈಲ್ ಹೆಸರು ರಚಿಸುತ್ತದೆ.
  2. edge_free_tts(chunks_list,speed,voice_name,save_path): ಈ ಕಾರ್ಯಾಚರಣೆ ಇನ್‌ಪುಟ್ ಪಠ್ಯದ ತುಣುಕುಗಳ ಪಟ್ಟಿ ಮೂಲಕ ಎಡ್ಜ್ TTS API ಬಳಸಿಕೊಂಡು ಧ್ವನಿ ಫೈಲ್ ರಚಿಸುತ್ತದೆ. ಇನ್‌ಪುಟ್ ಪ್ಯಾರಾಮೀಟರ್ಗಳು ತುಣುಕುಗಳ ಪಟ್ಟಿ, ಮಾತನಾಡುವ ದರ, ಧ್ವನಿಯ ಹೆಸರು ಮತ್ತು ಉತ್ಪನ್ನ ಫೈಲ್ ಉಳಿಸುವ ಮಾರ್ಗಾವಳಿಯಾಗಿದೆ.
  3. talk(input_text): ಈ ಕಾರ್ಯಾಚರಣೆ ಎಡ್ಜ್ TTS API ಬಳಸಿ ಧ್ವನಿ ಫೈಲ್ ರಚಿಸಿ ಅದನ್ನು /content/audio ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ ಯಾದೃಚ್ಛಿಕ ಫೈಲ್ ಹೆಸರಿನಲ್ಲಿ ಉಳಿಸಲಿದೆ. ಇನ್‌ಪುಟ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾತನಾಡಬೇಕಾದ ಪಠ್ಯ.
  4. run_text_prompt(message, chat_history): ಈ ಕಾರ್ಯಾಚರಣೆ ಮೈಕ್ರೋಸಾಫ್ಟ್ ಫೈ 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಡೆಮೋವನ್ನು ಬಳಸುವುದರಿಂದ ಸಂದೇಶ ಇನ್‌ಪುಟ್‌ನಿಂದ ಧ್ವನಿ ಫೈಲ್ ರಚಿಸಿ ಅದನ್ನು ಚಾಟ್ ಇತಿಹಾಸಕ್ಕೆ ಸೇರಿಸುತ್ತದೆ.
  5. run_audio_prompt(audio, chat_history): ಈ ಕಾರ್ಯಾಚರಣೆ ವಿಸ್ಪರ್ ಮಾದರಿ API ಬಳಸಿ ಆಡಿಯೋ ಫೈಲನ್ನು ಪಠ್ಯಕ್ಕೆ ಪರಿವರ್ತಿಸಿ run_text_prompt() ಕಾರ್ಯಕ್ಕೆ ಕಳುಹಿಸುತ್ತದೆ.
  6. ಕೋಡ್ ಗ್ರೇಡಿಯೊ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ಲೋಂಚ್ ಮಾಡುತ್ತದೆ, ಇದು ಬಳಕೆದಾರರು Phi 3 ಮಿನಿ 4ಕೆ ಇನ್ಸ್ಟ್ರಕ್ಟ್ ಡೆಮೋ ಜೊತೆ ಸಂದೇಶಗಳನ್ನು ಟೈಪ್ ಮಾಡುವುದಾಗಲಿ ಅಥವಾ ಆಡಿಯೋ ಫೈಲ್ ಅಪ್ಲೋಡ್ ಮಾಡುವುದಾಗಲಿ ಸಂವಹನ ಮಾಡಬಹುದು. ಔಟ್‌ಪುಟ್ ಅಪ್ಲಿಕೇಶನ್ ಒಳಗು ಪಠ್ಯ ಸಂದೇಶವಾಗಿ ಪ್ರದರ್ಶಿಸಲ್ಪಡುತ್ತದೆ.

ತೊಂದರೆ ಪರಿಹಾರ

Cuda GPU ಡ್ರೈವರ್‌ಗಳ ಸ್ಥಾಪನೆ

  1. ನಿಮ್ಮ ಲಿನಕ್ಸ್ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ನವೀಕರಿಸಲ್ಪಟ್ಟಿರುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ

    sudo apt update

  2. Cuda ಡ್ರೈವರ್‌ಗಳನ್ನು ಸ್ಥಾಪಿಸಿ

    sudo apt install nvidia-cuda-toolkit

  3. cuda ಡ್ರೈವರ್ ಸ್ಥಳವನ್ನು ನೋಂದಾಯಿಸಿ

    echo /usr/lib64-nvidia/ >/etc/ld.so.conf.d/libcuda.conf; ldconfig

  4. Nvidia GPU ನೆಮ್ಮದಿ ಗಾತ್ರ ಪರಿಶೀಲನೆ (12GB GPU ನೆಮ್ಮದಿ ಅಗತ್ಯ)

    nvidia-smi

  5. ಖಾಲಿ ಕ್ಯಾಶೆ: ನೀವು PyTorch ಬಳಸುತ್ತಿದ್ದರೆ, torch.cuda.empty_cache() ಅನ್ನು ಕರೆಯಬಹುದು, ಇದರಿಂದ ಎಲ್ಲಾ ಬಳಸದ ಕ್ಯಾಶೆಡ್ ನೆಮ್ಮದಿಯನ್ನು ಬಿಡುಗಡೆ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಇತರ GPU ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗೆ ಉಪಯೋಗಿಸಬಹುದು

    torch.cuda.empty_cache()

  6. Nvidia Cuda ಪರಿಶೀಲನೆ

    nvcc --version

  7. Hugging Face ಟೋಕನ್ ರಚಿಸಲು ಕೆಳಗಿನ ಕಾರ್ಯಗಳನ್ನು ಮಾಡಿ.

Note

ನೀವು ಕೆಳಗಿನ ದೋಷವನ್ನು ಎದುರಿಸಿದರೆ:

/sbin/ldconfig.real: Can't create temporary cache file /etc/ld.so.cache~: Permission denied

ಇದನ್ನು ಪರಿಹರಿಸಲು, ನಿಮ್ಮ ಟರ್ಮಿನಲ್ ಒಳಗೆ ಕೆಳಗಿನ ಕಮಾಂಡ್ ಅನ್ನು ಟೈಪ್ ಮಾಡಿ.

sudo ldconfig

ರದ್ದತಿ: ಈ ದಾಖಲೆ Co-op Translator ಎಂಬ AI ಅನುವಾದ ಸೇವೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಅನುವದಿಸಲಾಗಿದೆ. ನಾವು ಶುದ್ದತೆಯನ್ನು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ತಪ್ಪುಗಳು ಇರಬಹುದಾಗಿದೆ ಎಂಬುದನ್ನು ದಯವಿಟ್ಟು ಗಮನಿಸಿ. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಅಧ_ODocumentವೇ ಅಧಿಕೃತ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಮಹತ್ವದ ಮಾಹಿತಿಗಾಗಿ ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದ ಬಳಕೆಯಿಂದ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗರ್ಭಿತತೆಗಳಿಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲವಲ್ಲ.