# వాయిస్ & ఆడియో (STT/TTS)


# వాయిస్ & ఆడియో (STT/TTS)

**ఆడియో** టాబ్ మీ ఏజెంట్ ఎలా వింటుందో మరియు మాట్లాడుతుందో నియంత్రిస్తుంది. స్పీచ్-టు-టెక్స్ట్ (STT) మరియు టెక్స్ట్-టు-స్పీచ్ (TTS) రెండూ **మల్టీ-ప్రొవైడర్** — మీరు ఒక ప్రొవైడర్‌ను ఎంచుకుంటారు, ఆపై ఒక మోడల్ మరియు ప్రొవైడర్-నిర్దిష్ట నియంత్రణలను ఎంచుకుంటారు. వీటిని సరిగ్గా సెట్ చేయడం వల్లే ఒక ఏజెంట్ సహజంగా అనిపిస్తుంది మరియు కాలర్‌లను ఖచ్చితంగా అర్థం చేసుకుంటుంది. దీన్ని **/agent/setup**లోని ఏజెంట్ బిల్డర్‌లో సెట్ చేయండి.

:::note[STT కోసం పైప్‌లైన్ మోడ్ మాత్రమే]

స్పీచ్-టు-టెక్స్ట్ సెట్టింగ్‌లు **పైప్‌లైన్** వాయిస్ మోడ్‌లో వర్తిస్తాయి. రియల్‌టైమ్ మోడ్‌లలో (Azure Realtime, Gemini Realtime) ట్రాన్స్‌క్రిప్షన్ ప్రొవైడర్ ద్వారా అంతర్గతంగా నిర్వహించబడుతుంది, కాబట్టి STT విభాగం విస్మరించబడుతుంది. వాయిస్ పైప్‌లైన్ మోడ్‌ను [LLM](./llm) టాబ్‌లో సెట్ చేయండి.

:::

## స్పీచ్-టు-టెక్స్ట్

![Voice ట్యాబ్](/img/screenshots/portal/agent-audio.png)
*Voice ట్యాబ్: భాష, మద్దతు ఉన్న లొకేల్‌లు, భాషా గుర్తింపు, మరియు speech-to-text / text-to-speech ప్రొవైడర్ సెట్టింగ్‌లు.*

స్పీచ్-టు-టెక్స్ట్ కాలర్ ఆడియోను ఏజెంట్ చర్య తీసుకోగల వచనంగా మారుస్తుంది. మీ కాలర్‌లకు మరియు మీ డొమైన్‌కు సరిపోయే ఒక **ప్రొవైడర్** మరియు **మోడల్**ను ఎంచుకోండి. STT ప్రొవైడర్‌లలో ఇవి ఉన్నాయి:

- **Deepgram** (డిఫాల్ట్) — Nova-3 / Nova-2 మరియు మరిన్ని.
- **Azure** — Default మరియు Conversation మోడల్‌లు.
- **Groq** — Whisper Large v3 / Turbo.
- **Sarvam** — Saarika (ఇండిక్).

### సాధారణ నియంత్రణలు

**లాంగ్వేజ్**, **విరామచిహ్నాలు**, **వర్డ్ టైమ్‌స్టాంప్‌లు** మరియు **ఇంటెరిమ్ ఫలితాలు** ప్రొవైడర్‌ల అంతటా వర్తిస్తాయి. సరైన లాంగ్వేజ్‌ను సెట్ చేయడం ట్రాన్స్‌క్రిప్షన్ ఖచ్చితత్వంలో అతిపెద్ద ఒక్క కారకం.

### ప్రొవైడర్-నిర్దిష్ట నియంత్రణలు

కొన్ని నియంత్రణలు వాటికి మద్దతిచ్చే ప్రొవైడర్‌కు మాత్రమే కనిపిస్తాయి:

- **Deepgram** — కీవర్డ్ బూస్ట్, స్మార్ట్ ఫార్మాట్, ఫిల్లర్ తొలగింపు, **డయరైజేషన్** (ట్రాన్స్‌క్రిప్ట్‌ను స్పీకర్ ద్వారా వేరు చేయడం), అశ్లీలత ఫిల్టర్, ప్రత్యామ్నాయాలు మరియు లేటెన్సీ మోడ్.
- **Azure** — అశ్లీలత మోడ్ (మాస్క్‌డ్ / తొలగించబడింది / రా).
- **Sarvam** — కోడ్ మిక్సింగ్.

గుర్తింపును మెరుగుపరచడానికి మీరు **కస్టమ్ వొకాబులరీ**ను (ఉత్పత్తి పేర్లు, బ్రాండ్ పదాలు, పరిభాష) కూడా జోడించవచ్చు, మరియు ఎండ్‌పాయింటింగ్ మరియు VAD టర్నాఫ్ టైమింగ్‌లను ట్యూన్ చేయవచ్చు.

:::note[PII రిడాక్షన్ గార్డ్‌రెయిల్స్‌లో ఉంటుంది]

ట్రాన్స్‌క్రిప్ట్ **PII రిడాక్షన్** (ఏ సున్నితమైన రకాలను మాస్క్ చేయాలి) ఇక్కడ కాదు, **గార్డ్‌రెయిల్స్** టాబ్‌లో కాన్ఫిగర్ చేయబడుతుంది. [గార్డ్‌రెయిల్స్](./guardrails) చూడండి.

:::

## టెక్స్ట్-టు-స్పీచ్

టెక్స్ట్-టు-స్పీచ్ అనేది మీ ఏజెంట్ మాట్లాడే వాయిస్. ఒక **ప్రొవైడర్**, **మోడల్** మరియు **వాయిస్**ను ఎంచుకోండి. TTS ప్రొవైడర్‌లలో ఇవి ఉన్నాయి:

- **ElevenLabs** (డిఫాల్ట్) — Turbo v2.5 / v2, Multilingual v2.
- **Azure** — Neural మరియు Standard.
- **Google** — Gemini TTS.
- **Cartesia** — Sonic.
- **Groq** — Orpheus.
- **Sarvam** — Bulbul (ఇండిక్).

### వాయిస్

మీ బ్రాండ్‌కు మరియు మీ కాలర్‌లకు సరిపోయే **వాయిస్**ను ఎంచుకోండి. మీరు [వాయిస్ ల్యాబ్](../voice-lab)లో సృష్టించిన కస్టమ్ వాయిస్‌ను కూడా ఉపయోగించవచ్చు — ఒక చిన్న నమూనా నుండి వాయిస్‌ను క్లోన్ చేసి దాన్ని ఏజెంట్‌కు కేటాయించండి. దాన్ని వినడానికి ప్రివ్యూ బటన్‌ను ఉపయోగించండి.

### సాధారణ నియంత్రణలు

**వేగం**, **పిచ్**, **శైలి**, **వాల్యూమ్**, **ఎమోషన్**, **ప్రాధాన్యత**, **అవుట్‌పుట్ ఫార్మాట్** మరియు కస్టమ్ **ఉచ్చారణలు** ప్రొవైడర్‌ల అంతటా వర్తిస్తాయి. కొంచెం నెమ్మదిగా మాట్లాడటం ఫోన్ కాల్‌లో అనుసరించడానికి సులభం, ముఖ్యంగా నంబర్‌లు, తేదీలు మరియు నిర్ధారణలకు.

### ElevenLabs-నిర్దిష్ట నియంత్రణలు

**స్థిరత్వం**, **సారూప్యత బూస్ట్**, **శైలి అతిశయోక్తి** మరియు **స్పీకర్ బూస్ట్** అనేవి ElevenLabs వాయిస్ నియంత్రణలు:

- **స్థిరత్వం** ఒక పదబంధం నుండి తదుపరి దాని వరకు వాయిస్ ఎంత స్థిరంగా అనిపిస్తుందో నియంత్రిస్తుంది — అధికం మరింత నిలకడగా ఉంటుంది, తక్కువ మరింత సహజమైన వైవిధ్యాన్ని అనుమతిస్తుంది.
- **సారూప్యత బూస్ట్** అవుట్‌పుట్‌ను సోర్స్ వాయిస్‌కు దగ్గరగా ఉంచుతుంది.
- **స్పీకర్ బూస్ట్** అసలు స్పీకర్‌తో పోలికను మెరుగుపరుస్తుంది.

:::tip

మార్పులను కాగితంపై కాదు, బిగ్గరగా పరీక్షించండి. ప్రతి సర్దుబాటు తర్వాత **/agent/interface**లోని **వాయిస్ పరీక్ష**ను ఉపయోగించండి — మీరు వాటిని విన్నప్పుడు వేగం మరియు ఉచ్చారణ సమస్యలు సెకన్లలో స్పష్టంగా కనిపిస్తాయి.

:::

## తదుపరి దశలు

- [వాయిస్ ల్యాబ్‌లో ఒక వాయిస్‌ను క్లోన్ చేసి కేటాయించండి](../voice-lab)
- [వాయిస్ పైప్‌లైన్ మోడ్ మరియు LLMను ఎంచుకోండి](./llm)
- [సంభాషణ ప్రవర్తనను రూపొందించండి](./engine-behavior)
- [రికార్డింగ్, ట్రాన్స్‌క్రిప్షన్ మరియు నిలుపుదలను సెట్ చేయండి](../workplace-team)