# ભાષા મોડેલ (LLM)


# ભાષા મોડેલ (LLM)

**LLM** ટૅબ નક્કી કરે છે કે તમારો એજન્ટ કેવી રીતે વિચારે છે અને તેની વોઇસ પાઇપલાઇન કેવી રીતે જોડાયેલી છે. તે **વોઇસ પાઇપલાઇન મોડ** (સ્પીચ-ટુ-ટેક્સ્ટ, ભાષા મોડેલ અને ટેક્સ્ટ-ટુ-સ્પીચ કેવી રીતે એકબીજા સાથે બેસે છે), કયા **LLM પ્રોવાઇડર અને મોડેલ** વાતચીત ચલાવે છે, જનરેશન પેરામીટર્સ, એક ફોલબેક મોડેલ, અને **RAG / નોલેજ-બેઝ** જોડાણને નિયંત્રિત કરે છે. આને **/agent/setup** પરના એજન્ટ બિલ્ડરમાં સેટ કરો.

## વોઇસ પાઇપલાઇન મોડ

![Model ટેબ](/img/screenshots/portal/agent-llm.png)
*Model ટેબ: એક Voice Pipeline Mode પસંદ કરો — Azure Realtime, Cartesia Sonic, Gemini Realtime, અથવા અલગ STT→LLM→TTS Pipeline.*

આ ટૅબ પરનું સૌથી મહત્વનું સેટિંગ છે — તે કોલ દરમિયાન STT, LLM અને TTS કેવી રીતે એકસાથે જોડાય છે તે નિયંત્રિત કરે છે. ચાર મોડમાંથી એક પસંદ કરો:

- **Azure Realtime** (ડિફોલ્ટ) — Azure એક જ WebSocket પર `gpt-4o-realtime-preview` ડિપ્લોયમેન્ટનો ઉપયોગ કરીને વોઇસ-એક્ટિવિટી ડિટેક્શન, સ્પીચ-ટુ-ટેક્સ્ટ અને LLM સંભાળે છે. **Voice** (Audio) ટૅબ પરના STT સેટિંગ્સ અવગણાય છે; એક અલગ TTS પ્રોવાઇડર ઑડિયો ઉત્પન્ન કરે છે.
- **Cartesia Sonic** — એક પાઇપલાઇન જે Cartesia ની અતિ-ઓછી-લેટન્સી Sonic TTS, કોઈ પણ LLM અને Azure/Groq STT સાથે ઉપયોગ કરે છે.
- **Gemini Realtime** — Google Gemini Live મૂળભૂત રીતે VAD, STT અને LLM સંભાળે છે, જેમાં ભારતીય ભાષાઓ માટે મજબૂત સપોર્ટ છે. તે પોતાના અવાજથી બોલી શકે છે (Native Audio) અથવા તમારા કોન્ફિગર કરેલા TTS માટે ટેક્સ્ટ આઉટપુટ કરી શકે છે (Hybrid).
- **Pipeline (STT → LLM → TTS)** — દરેક તબક્કા માટે અલગ પ્રોવાઇડર્સ, સ્વતંત્ર રીતે કોન્ફિગર કરેલા. જ્યારે તમે ટ્રાન્સક્રાઇબર, મોડેલ અને અવાજ પર સંપૂર્ણ નિયંત્રણ ઇચ્છો ત્યારે આનો ઉપયોગ કરો.

:::caution[મોડ અને મોડેલ જોડાયેલા છે]

દરેક રિયલટાઇમ મોડને મોડેલના ચોક્કસ કુટુંબની જરૂર પડે છે, અને મોડેલ સીધું રિયલટાઇમ પ્રોવાઇડરને પાસ થાય છે — અસંગત મૂલ્ય કોલ સમયે નિષ્ફળ થાય છે. જ્યારે તમે મોડ બદલો છો ત્યારે બિલ્ડર આપમેળે સંગત મોડેલ સેટ કરે છે, અને સેવ પર તે મોડેલને મોડ સાથે સમાધાન કરે છે. ખાસ કરીને, **gpt-4** જેવું સાદું ચૅટ મોડેલ ડિફોલ્ટ Azure Realtime મોડ માટે **માન્ય નથી** અને સેવ પર ફરીથી લખાય છે; રિયલટાઇમ મોડ માટે રિયલટાઇમ ડિપ્લોયમેન્ટ પસંદ કરો, અને Pipeline / Cartesia Sonic માટે ચૅટ-કમ્પ્લીશન મોડેલ.

:::

## પ્રોવાઇડર અને મોડેલ પસંદ કરો

સંપૂર્ણ-મેનેજ્ડ રિયલટાઇમ મોડ સિવાય, તમે **LLM પ્રોવાઇડર** અને પછી તે પ્રોવાઇડર માટે એક **મોડેલ** પસંદ કરો છો. પ્રોવાઇડર સૂચિ માત્ર એ જ પ્રોવાઇડર્સ બતાવે છે જેમના ક્રેડેન્શિયલ્સ તમારી સંસ્થાએ સક્ષમ કર્યા છે ([સેટિંગ્સ](../settings) માં કોન્ફિગર કરેલા). શું સક્ષમ છે તેના આધારે, તેમાં અન્યો વચ્ચે Azure OpenAI, Google Gemini, Groq, OpenRouter અને Sarvam શામેલ હોઈ શકે છે.

- **Azure** માટે, મોડેલ વિકલ્પો તમારા કોન્ફિગર કરેલા ડિપ્લોયમેન્ટ્સમાંથી આવે છે (દરેક ક્રેડેન્શિયલ એક ડિપ્લોયમેન્ટ છે).
- સિંગલ-કી પ્રોવાઇડર્સ માટે, મોડેલ સૂચિ પ્લેટફોર્મના મોડેલ કૅટલોગમાંથી આવે છે.

કામ માટે બંધબેસતું મોડેલ પસંદ કરો: વધુ-ક્ષમતાવાળા મોડેલ જટિલ કોલ પર સારી રીતે તર્ક કરે છે, જ્યારે હળવા મોડેલ ઝડપથી પ્રતિસાદ આપે છે અને કોલ દીઠ ઓછા ખર્ચાળ છે. મોટાભાગના કોલિંગ એજન્ટ્સ માટે, લેટન્સી શુદ્ધ ગુણવત્તા જેટલી જ મહત્વની છે.

## મોડેલ પેરામીટર્સ

**Model Parameters** વિભાગ જનરેશનને નિયંત્રિત કરે છે:

- **Tokens** — મોડેલ દરેક વારામાં કેટલું જનરેટ કરે છે તેને મર્યાદિત કરે છે. આને સંયમિત રાખો જેથી એજન્ટ ફોન કોલ પર બકબક ન કરે.
- **Temperature** — જવાબો કેટલા વૈવિધ્યસભર છે. સ્ક્રિપ્ટેડ, કમ્પ્લાયન્સ-સંવેદનશીલ કોલ માટે નીચું; વાતચીતની આઉટરીચ માટે ઊંચું.
- **Top P** — ન્યુક્લિયસ-સેમ્પલિંગ કટઑફ, વૈવિધ્ય નિયંત્રિત કરવાની એક વૈકલ્પિક રીત.
- **Frequency penalty** અને **presence penalty** — પુનરાવર્તનને નિરુત્સાહિત કરો અને મોડેલને નવા વિષયો રજૂ કરવા પ્રોત્સાહિત કરો.

## અદ્યતન સેટિંગ્સ

**Advanced Settings** વિભાગ ઓપરેશનલ નિયંત્રણો ઉમેરે છે:

- **Timeout (ms)** — એક વારો છોડી દેતા પહેલા મોડેલ માટે કેટલી રાહ જોવી.
- **Retry count** અને **retry delay (ms)** — એજન્ટ નિષ્ફળ વિનંતીને કેવી રીતે ફરી પ્રયાસ કરે છે.
- **Response format** — Text અથવા JSON.
- **Stream enabled** — ઓછી અનુભવાતી લેટન્સી માટે ટોકન જનરેટ થાય તેમ સ્ટ્રીમ કરો (ડિફોલ્ટ ચાલુ).
- **JSON mode** — સ્ટ્રક્ચર્ડ JSON આઉટપુટ ફરજિયાત કરો.
- **Cost tracking** — આ એજન્ટ માટે ટોકન ખર્ચ રેકોર્ડ કરો.

તમે **Custom Parameters** હેઠળ વધારાના પ્રોવાઇડર પેરામીટર્સ રો JSON તરીકે પણ આપી શકો છો.

## ફોલબેક મોડેલ

એક **ફોલબેક પ્રોવાઇડર અને મોડેલ** સેટ કરો જેથી પ્રાથમિક અનુપલબ્ધ હોય તો પણ કોલ ચાલુ રહે. જો પ્રાથમિક પ્રતિસાદ ન આપી શકે, તો એજન્ટ વાતચીત છોડી દેવાને બદલે ફોલબેકનો ઉપયોગ કરે છે — એજન્ટને સ્થિતિસ્થાપક બનાવવાની સૌથી સરળ રીત.

## નોલેજ બેઝ અને RAG

રિટ્રિવલ-ઓગમેન્ટેડ જનરેશન અહીં, LLM ટૅબ પર, **Add Knowledge Base** વિભાગમાં કોન્ફિગર કરવામાં આવે છે. **RAG Enabled** ચાલુ કરો, એક અથવા વધુ નોલેજ બેઝ પસંદ કરો, અને **RAG Top K** (કેટલા ફકરા રિટ્રીવ કરવા) તથા **સમાનતા થ્રેશોલ્ડ** (ફકરો કેટલો નજીકથી મેળ ખાવો જોઈએ) ટ્યુન કરો. આને કેવી રીતે ટ્યુન કરવા અને પહેલા નોલેજ બેઝ કેવી રીતે બનાવવો તે માટે [નોલેજ અને RAG](./knowledge-rag) જુઓ.

## વપરાશ અને ખર્ચનું ટ્રેકિંગ

મોડેલ વપરાશ તમારી સંસ્થાના પ્રીપેઇડ બેલેન્સમાંથી ક્રેડિટ વાપરે છે. તમારા એજન્ટ્સમાં વપરાશ અને ખર્ચ જોવા માટે, [બિલિંગ](../billing) નો ઉપયોગ કરો — **Overview** પ્લાન અને વપરાશ બતાવે છે, અને **Wallet** તમારી પ્રીપેઇડ ક્રેડિટ, ટોપ-અપ્સ અને ઇતિહાસ બતાવે છે. કાર્યક્ષમ મોડેલ અને સમજદાર ટોકન મર્યાદાઓ પસંદ કરવી એ ખર્ચ નિયંત્રિત કરવાની સૌથી સીધી રીત છે.

## આગળનાં પગલાં

- [વોઇસ અને ઑડિયો સેટ કરો](./voice-audio)
- [RAG માટે નોલેજ બેઝ લિંક કરો](./knowledge-rag)
- [વાતચીતની વર્તણૂક ઘડો](./engine-behavior)
- [વપરાશ સમીક્ષા કરો અને તમારું વોલેટ ટોપ-અપ કરો](../billing)
- [એજન્ટ્સ ઓવરવ્યૂ પર પાછા જાઓ](./overview)