Почему это похоже на спиритический сеанс программиста?
Источник: https://t.me/prompt_ai/147
Это реалтайм и полная задержка от голосовой команды до видео ответа - всего 1.5 секунды!
Работает на 3060 12 GB
Под капотом:
- STT: whisper.cpp large
- LLM: Mistral-7B-v0.2-Q5_0.gguf
- TTS: XTTSv2 wav-streaming
- lipsync: wav2lip-streaming
- Google: langchain google-serp
Код