# లాంగ్వేజ్ మోడల్ (LLM)


# లాంగ్వేజ్ మోడల్ (LLM)

**LLM** టాబ్ మీ ఏజెంట్ ఎలా ఆలోచిస్తుందో మరియు దాని వాయిస్ పైప్‌లైన్ ఎలా వైర్ చేయబడిందో నిర్ణయిస్తుంది. ఇది **వాయిస్ పైప్‌లైన్ మోడ్**ను (స్పీచ్-టు-టెక్స్ట్, లాంగ్వేజ్ మోడల్ మరియు టెక్స్ట్-టు-స్పీచ్ ఎలా కలిసి సరిపోతాయో), ఏ **LLM ప్రొవైడర్ మరియు మోడల్** సంభాషణను నడుపుతాయో, జనరేషన్ పారామితులను, ఒక ఫాల్‌బ్యాక్ మోడల్‌ను, మరియు **RAG / నాలెడ్జ్-బేస్** లింకేజ్‌ను నియంత్రిస్తుంది. దీన్ని **/agent/setup**లోని ఏజెంట్ బిల్డర్‌లో సెట్ చేయండి.

## వాయిస్ పైప్‌లైన్ మోడ్

![Model ట్యాబ్](/img/screenshots/portal/agent-llm.png)
*Model ట్యాబ్: ఒక Voice Pipeline Mode‌ను ఎంచుకోండి — Azure Realtime, Cartesia Sonic, Gemini Realtime, లేదా ప్రత్యేక STT→LLM→TTS Pipeline.*

ఇది ఈ టాబ్‌లో అత్యంత ముఖ్యమైన సెట్టింగ్ — కాల్ సమయంలో STT, LLM మరియు TTS ఎలా కలిసి వైర్ చేయబడతాయో ఇది నియంత్రిస్తుంది. నాలుగు మోడ్‌లలో ఒకదాన్ని ఎంచుకోండి:

- **Azure Realtime** (డిఫాల్ట్) — Azure ఒక `gpt-4o-realtime-preview` డిప్లాయ్‌మెంట్‌ను ఉపయోగించి ఒకే WebSocket ద్వారా వాయిస్-యాక్టివిటీ డిటెక్షన్, స్పీచ్-టు-టెక్స్ట్ మరియు LLMను నిర్వహిస్తుంది. **Voice** (Audio) టాబ్‌లోని STT సెట్టింగ్‌లు విస్మరించబడతాయి; ఒక ప్రత్యేక TTS ప్రొవైడర్ ఆడియోను ఉత్పత్తి చేస్తుంది.
- **Cartesia Sonic** — Cartesia యొక్క అల్ట్రా-లో-లేటెన్సీ Sonic TTSను, ఏదైనా LLM మరియు ఒక Azure/Groq STTతో ఉపయోగించే ఒక పైప్‌లైన్.
- **Gemini Realtime** — Google Gemini Live VAD, STT మరియు LLMను స్థానికంగా నిర్వహిస్తుంది, భారతీయ భాషలకు బలమైన మద్దతుతో. ఇది తన స్వంత వాయిస్‌తో మాట్లాడగలదు (Native Audio) లేదా మీరు కాన్ఫిగర్ చేసిన TTS కోసం టెక్స్ట్‌ను అవుట్‌పుట్ చేయగలదు (Hybrid).
- **Pipeline (STT → LLM → TTS)** — ప్రతి దశకు ప్రత్యేక ప్రొవైడర్‌లు, స్వతంత్రంగా కాన్ఫిగర్ చేయబడతాయి. మీరు ట్రాన్స్‌క్రైబర్, మోడల్ మరియు వాయిస్‌పై పూర్తి నియంత్రణ కోరుకున్నప్పుడు దీన్ని ఉపయోగించండి.

:::caution[మోడ్ మరియు మోడల్ జతచేయబడ్డాయి]

ప్రతి రియల్‌టైమ్ మోడ్‌కు ఒక నిర్దిష్ట మోడల్‌ల కుటుంబం అవసరం, మరియు మోడల్ నేరుగా రియల్‌టైమ్ ప్రొవైడర్‌కు పంపబడుతుంది — ఒక అననుకూల విలువ కాల్ సమయంలో విఫలమవుతుంది. మీరు మోడ్‌లను మార్చినప్పుడు బిల్డర్ ఒక అనుకూల మోడల్‌ను స్వయంచాలకంగా సెట్ చేస్తుంది, మరియు సేవ్ చేసినప్పుడు అది మోడల్‌ను మోడ్‌కు సరిచేస్తుంది. ప్రత్యేకంగా, **gpt-4** వంటి ఒక సాధారణ చాట్ మోడల్ డిఫాల్ట్ Azure Realtime మోడ్‌కు చెల్లుబాటు **కాదు** మరియు సేవ్ చేసినప్పుడు తిరిగి రాయబడుతుంది; రియల్‌టైమ్ మోడ్‌ల కోసం ఒక రియల్‌టైమ్ డిప్లాయ్‌మెంట్‌ను, మరియు Pipeline / Cartesia Sonic కోసం ఒక చాట్-కంప్లీషన్ మోడల్‌ను ఎంచుకోండి.

:::

## ప్రొవైడర్ మరియు మోడల్‌ను ఎంచుకోండి

పూర్తిగా-నిర్వహించబడిన రియల్‌టైమ్ మోడ్‌ల వెలుపల, మీరు **LLM ప్రొవైడర్**ను ఆపై ఆ ప్రొవైడర్ కోసం ఒక **మోడల్**ను ఎంచుకుంటారు. ప్రొవైడర్ జాబితా మీ సంస్థ ఆధారాలను ప్రారంభించిన ప్రొవైడర్‌లను మాత్రమే చూపుతుంది ([సెట్టింగ్‌లు](../settings)లో కాన్ఫిగర్ చేయబడింది). ఏమి ప్రారంభించబడిందో దానిపై ఆధారపడి, అందులో ఇతరవాటితో పాటు Azure OpenAI, Google Gemini, Groq, OpenRouter మరియు Sarvam ఉండవచ్చు.

- **Azure** కోసం, మోడల్ ఎంపికలు మీరు కాన్ఫిగర్ చేసిన డిప్లాయ్‌మెంట్‌ల నుండి వస్తాయి (ప్రతి ఆధారం ఒక డిప్లాయ్‌మెంట్).
- సింగిల్-కీ ప్రొవైడర్‌ల కోసం, మోడల్ జాబితా ప్లాట్‌ఫారమ్ యొక్క మోడల్ కేటలాగ్ నుండి వస్తుంది.

పనికి సరిపోయే మోడల్‌ను ఎంచుకోండి: అధిక-సామర్థ్యం గల మోడల్‌లు సంక్లిష్ట కాల్‌లపై మెరుగ్గా ఆలోచిస్తాయి, తేలికపాటి మోడల్‌లు వేగంగా ప్రతిస్పందిస్తాయి మరియు ప్రతి కాల్‌కు తక్కువ ఖర్చు అవుతుంది. చాలా కాలింగ్ ఏజెంట్లకు, ముడి నాణ్యత ఎంత ముఖ్యమో లేటెన్సీ కూడా అంతే ముఖ్యం.

## మోడల్ పారామితులు

**Model Parameters** విభాగం జనరేషన్‌ను నియంత్రిస్తుంది:

- **టోకెన్‌లు** — మోడల్ ప్రతి టర్న్‌కు ఎంత ఉత్పత్తి చేస్తుందో పరిమితం చేస్తుంది. ఏజెంట్ ఫోన్ కాల్‌లో వాగుడుగా మాట్లాడకుండా దీన్ని మితంగా ఉంచండి.
- **ఉష్ణోగ్రత** — ప్రత్యుత్తరాలు ఎంత వైవిధ్యంగా ఉంటాయో. స్క్రిప్టెడ్, కంప్లయన్స్-సున్నితమైన కాల్‌లకు తక్కువ; సంభాషణాత్మక ఔట్‌రీచ్‌కు ఎక్కువ.
- **Top P** — న్యూక్లియస్-శాంప్లింగ్ కటాఫ్, వైవిధ్యాన్ని నియంత్రించడానికి ఒక ప్రత్యామ్నాయ మార్గం.
- **ఫ్రీక్వెన్సీ పెనాల్టీ** మరియు **ప్రెజెన్స్ పెనాల్టీ** — పునరావృతిని నిరుత్సాహపరుస్తాయి మరియు కొత్త అంశాలను పరిచయం చేయడానికి మోడల్‌ను ప్రోత్సహిస్తాయి.

## అధునాతన సెట్టింగ్‌లు

**Advanced Settings** విభాగం కార్యాచరణ నియంత్రణలను జోడిస్తుంది:

- **టైమ్‌అవుట్ (ms)** — ఒక టర్న్‌ను వదిలివేయడానికి ముందు మోడల్ కోసం ఎంతసేపు వేచి ఉండాలి.
- **రీట్రై కౌంట్** మరియు **రీట్రై డిలే (ms)** — ఒక విఫలమైన అభ్యర్థనను ఏజెంట్ ఎలా మళ్లీ ప్రయత్నిస్తుంది.
- **రెస్పాన్స్ ఫార్మాట్** — టెక్స్ట్ లేదా JSON.
- **స్ట్రీమ్ ఎనేబుల్డ్** — తక్కువ గ్రహించిన లేటెన్సీ కోసం టోకెన్‌లు ఉత్పత్తి అవుతున్నప్పుడు వాటిని స్ట్రీమ్ చేయండి (డిఫాల్ట్‌గా ఆన్).
- **JSON మోడ్** — నిర్మాణాత్మక JSON అవుట్‌పుట్‌ను బలవంతం చేయండి.
- **కాస్ట్ ట్రాకింగ్** — ఈ ఏజెంట్ కోసం టోకెన్ ఖర్చును రికార్డ్ చేయండి.

మీరు **Custom Parameters** కింద ముడి JSONగా అదనపు ప్రొవైడర్ పారామితులను కూడా అందించవచ్చు.

## ఫాల్‌బ్యాక్ మోడల్

ప్రాథమికం అందుబాటులో లేకపోతే కాల్‌లు పనిచేస్తూ ఉండేలా ఒక **ఫాల్‌బ్యాక్ ప్రొవైడర్ మరియు మోడల్**ను సెట్ చేయండి. ప్రాథమికం ప్రతిస్పందించలేకపోతే, ఏజెంట్ సంభాషణను వదిలివేయడానికి బదులుగా ఫాల్‌బ్యాక్‌ను ఉపయోగిస్తుంది — ఒక ఏజెంట్‌ను స్థితిస్థాపకంగా చేయడానికి సరళమైన మార్గం.

## నాలెడ్జ్ బేస్ & RAG

రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ ఇక్కడ, LLM టాబ్‌లో, **Add Knowledge Base** విభాగంలో కాన్ఫిగర్ చేయబడుతుంది. **RAG Enabled**ను ఆన్ చేయండి, ఒకటి లేదా అంతకంటే ఎక్కువ నాలెడ్జ్ బేస్‌లను ఎంచుకోండి, మరియు **RAG Top K** (ఎన్ని పేరాలను తిరిగి పొందాలి) మరియు **సారూప్యత థ్రెషోల్డ్** (ఒక పేరా ఎంత దగ్గరగా సరిపోలాలి)ను ట్యూన్ చేయండి. వీటిని ఎలా ట్యూన్ చేయాలో మరియు ముందుగా ఒక నాలెడ్జ్ బేస్‌ను ఎలా రూపొందించాలో [నాలెడ్జ్ & RAG](./knowledge-rag) చూడండి.

## వినియోగం మరియు ఖర్చును ట్రాక్ చేయడం

మోడల్ వినియోగం మీ సంస్థ ప్రీపెయిడ్ బ్యాలెన్స్ నుండి క్రెడిట్‌లను వినియోగిస్తుంది. మీ ఏజెంట్ల అంతటా వినియోగం మరియు ఖర్చును చూడటానికి, [బిల్లింగ్](../billing)ను ఉపయోగించండి — **అవలోకనం** ప్లాన్ మరియు వినియోగాన్ని చూపుతుంది, మరియు **వాలెట్** మీ ప్రీపెయిడ్ క్రెడిట్, టాప్-అప్‌లు మరియు చరిత్రను చూపుతుంది. సమర్థవంతమైన మోడల్‌లను మరియు సహేతుకమైన టోకెన్ పరిమితులను ఎంచుకోవడం ఖర్చును నియంత్రించడానికి అత్యంత ప్రత్యక్ష మార్గం.

## తదుపరి దశలు

- [వాయిస్ మరియు ఆడియోను సెటప్ చేయండి](./voice-audio)
- [RAG కోసం ఒక నాలెడ్జ్ బేస్‌ను లింక్ చేయండి](./knowledge-rag)
- [సంభాషణ ప్రవర్తనను రూపొందించండి](./engine-behavior)
- [వినియోగాన్ని సమీక్షించి మీ వాలెట్‌ను టాప్ అప్ చేయండి](../billing)
- [ఏజెంట్ల అవలోకనానికి తిరిగి వెళ్లండి](./overview)