Asistent Vocal Edge pe CPU

Rezultate obținute

Context

Acoperirea lingvistică și confidențialitatea contează adesea mai mult decât viteza maximă de tokeni/sec, pentru asistenții locali.

Provocare

Asistenții vocali presupun de obicei GPU-uri sau STT/LLM/TTS în cloud. Cerința era un ciclu vocal românesc funcțional pe CPU, în privat, cu un API WebSocket simplu și un UI de test.

Abordare

Am ambalat STT faster-whisper (inclusiv conversie CTranslate2 pentru ponderile Whisper regionale), inferență LLM GGUF llama.cpp, TTS românesc Piper și un endpoint vocal WebSocket FastAPI. Joburile de inițializare Docker Compose descarcă/convertesc modele în volume, la prima pornire.

Arhitectură

Serviciu vocal WebSocket FastAPI, STT faster-whisper, LLM llama.cpp, TTS Piper, volume de model Docker Compose și convertoare de inițializare.

Domeniu

• —Recunoaștere vocală
• —Ture LLM locale
• —Sintetizare vocală
• —API WebSocket
• —Bootstrap de model

Constrângeri

• —Bugete de latență pe CPU
• —Dimensiunea descărcării modelului
• —Conversie transformers→CTranslate2 pentru variantele Whisper

Aspecte cheie ale soluției

• —Containere de inițializare pentru conversia de model o singură dată
• —GGUF instruct mic, pentru practicitate pe CPU
• —Protocol WebSocket minimal pentru clienți

Tehnologii

Rezultate

• —Ciclu STT→LLM→TTS de la un cap la altul, pe CPU
• —Traseu de sintetizare și recunoaștere vocală orientat spre română
• —API WebSocket pentru integrare de produs
• —Descărcare/conversie automată de model la compose up

Lecții învățate

• —Stivele vocale sunt probleme de operare a modelelor, la fel de mult ca probleme de ML.
• —Conversia de format ar trebui automatizată, nu doar documentată în README ca folclor.
• —Asistenții pe CPU au nevoie de disciplină riguroasă privind dimensiunea modelului.