iPhone पर AI वॉइस असिस्टेंट को बीच में कैसे टोकें, और उसके बाद क्या होता है

वर्ज़न 2.4 से Orvena बोलते समय भी सुनता है। आप किसी जवाब को बीच में रोक सकते हैं, बीच में ही अपना मन बदल सकते हैं, या उसे रोके बिना "हम्म" कह सकते हैं, और iPhone के Neural Engine पर चलने वाला एक छोटा मॉडल तय करता है कि आपका मतलब इनमें से क्या था। यहाँ बताया गया है कि वह हर स्थिति में क्या करता है, कौन-से छोटे जवाब वह भाषा मॉडल के बिना देता है, और वह कितना सही रहता है।

जब आप Orvena के बोलते समय बोलते हैं, तो क्या होता है

वॉइस सेशन के दौरान, Orvena के सोचते और बोलते समय भी माइक्रोफ़ोन खुला रहता है। iPhone का इको कैंसलेशन माइक्रोफ़ोन में आने वाली आवाज़ से Orvena की अपनी आवाज़ हटा देता है, इसलिए माइक्रोफ़ोन सिर्फ़ आपकी आवाज़ पकड़ता है। जैसे ही Apple का स्पीच रिकग्नाइज़र शब्द पकड़ता है, Orvena अपनी आवाज़ घटाकर लगभग एक तिहाई कर देता है, और बातचीत में बारी समझने वाला उसका मॉडल, Cue, आपकी बात को उस वाक्य के साथ पढ़ता है जिसके बीच में Orvena था। तीन नतीजे हो सकते हैं:

अनुरोध होने पर Cue उस शब्द को भी चिह्नित करता है जहाँ से अनुरोध शुरू होता है, इसलिए "ठीक है समझ गया, अब लिस्बन देखो" मॉडल तक "अब लिस्बन देखो" के रूप में पहुँचता है। जब उसे पूरा भरोसा नहीं होता, तो एक शब्द ज़्यादा रख लेता है: एक फ़ालतू "ठीक है" से मॉडल का कुछ नहीं बिगड़ता, जबकि "लिस्बन" छूट जाए तो बिगड़ता है।

साफ़ तौर पर रोकने वाली बात आपके बोलते-बोलते ही लागू हो जाती है, जैसे ही Cue को कम से कम 90% भरोसा हो जाए। बाक़ी सब किसी ठहराव का इंतज़ार करता है: 0.7 सेकंड तक कोई नया शब्द न आए, या 0.4 सेकंड, अगर रिकग्नाइज़र आपके वाक्य को पूरा मान चुका हो। एक "ओह", कमरे में किसी और से कही गई बात, या पीछे चलता TV, इन सबको बोलते रहना ही माना जाना चाहिए, ताकि हर बार किसी के बोलने पर जवाब न कटे।

यही तब भी काम करता है जब Orvena अभी जवाब तैयार कर रहा हो। अगर उसके बोलना शुरू करने से पहले आप "नहीं, 7:30 बजे कर दो" जोड़ दें, तो वह पहले अनुरोध पर काम रोककर नए का जवाब देता है।

वे जवाब जो भाषा मॉडल तक नहीं जाते

वॉइस सेशन में कही गई कुछ बातों के लिए भाषा मॉडल की ज़रूरत ही नहीं होती। नई बारी शुरू होने पर Cue पहले देखता है कि क्या यह उन नौ छोटे वाक्यों में से एक है जिन्हें Orvena ख़ुद संभाल सकता है, और अगर हाँ, तो Orvena कुछ तय पंक्तियों में से एक से तुरंत जवाब देता है:

Cue, Orvena की पिछली बात का आख़िरी हिस्सा पढ़ता है, इसलिए एक ही शब्दों के अलग-अलग मतलब हो सकते हैं। "क्या मैं इसे आपके कैलेंडर में जोड़ दूँ?" के बाद "ठीक है" या "शुक्रिया" उस सवाल का आपका जवाब है, और वह मॉडल के पास जाता है। जिस बात में कोई अनुरोध हो, वह भी मॉडल के पास जाती है: "शुक्रिया, अब शॉपिंग लिस्ट में दूध जोड़ दो" एक अनुरोध है, धन्यवाद नहीं। Cue ख़ुद जवाब तभी देता है जब उसे कम से कम 90% भरोसा हो, और विदा के लिए 97%, क्योंकि उससे सेशन ख़त्म हो जाता है।

जब कोई अनुरोध मॉडल के पास जाता है और 0.8 सेकंड तक कोई कुछ नहीं बोलता, तो Orvena कुछ छोटा-सा कहता है, जैसे "ठीक है, एक मिनट।" अगर 10 सेकंड बाद भी जवाब तैयार नहीं होता, तो वह कहता है "बस थोड़ा और।" जवाब शुरू हो जाने के बाद इनमें से कोई भी पंक्ति नहीं बोली जाती।

फ़ैसला कहाँ होता है

Cue, Orvena का अपना एक छोटा मॉडल है, 376 मिलियन पैरामीटर वाला, जिसे ठीक इन्हीं दो फ़ैसलों के लिए ट्रेन किया गया है। यह iPhone के Neural Engine पर चलता है, जहाँ iPhone 17 Pro Max पर मापने पर एक फ़ैसले में लगभग 8 मिलीसेकंड लगे जब फ़ोन ख़ाली था, और लगभग 10 जब GPU जवाब बनाने में व्यस्त था। इससे GPU उस भाषा मॉडल के लिए ख़ाली रहता है जो जवाब लिखता है, और यह सबसे ज़्यादा तब मायने रखता है जब वह मॉडल Orvena का अपना हो, जो उसी फ़ोन पर जवाब बना रहा हो।

Cue सिर्फ़ टेक्स्ट पढ़ता है: Apple के ऑन-डिवाइस रिकग्नाइज़र का ट्रांसक्रिप्ट, और वे शब्द जो Orvena बोल रहा था। टोकने से जुड़ी कोई भी चीज़ फ़ोन से बाहर नहीं जाती। यह 385 MB का डाउनलोड है, जो वॉइस अनलॉक करने के बाद आवाज़ों के साथ डाउनलोड होता है, और पहला वॉइस सेशन, आवाज़ों वाले उसी प्रोग्रेस बार के साथ, इसे एक बार Neural Engine के लिए तैयार करता है। अगर यह डाउनलोड नहीं हो पाया, मान लीजिए आप ऑफ़लाइन थे, तो भी वॉइस शुरू होती है और आपको बताती है: "अभी बीच में बोलकर रोकना बंद है। अगली बार वॉइस शुरू करने पर Orvena इसे पूरी तरह सेट कर देगी।"

मॉडल और रेफ़रेंस कोड Apache 2.0 लाइसेंस के तहत Hugging Face पर हैं।

यह कितनी बार सही होता है

ट्रेनिंग डेटा से अलग लिखे गए टेस्ट सेट पर, अपनी सभी 30 भाषाओं में, Cue ने बीच में टोकने के 900 मामलों में से 90.4% में और 1,800 नई बारियों में से 95.2% में सही फ़ैसला किया। वह शॉर्टकट तभी लेता है जब उसे भरोसा हो: भाषा मॉडल के लिए बने 990 अनुरोधों में से 1 को उसकी जगह छोटा जवाब मिला।

जानने लायक बातें

• भाषाएँ। Cue 30 भाषाएँ जानता है। वॉइस उन भाषाओं में सुनती है जिन्हें Apple का ऑन-डिवाइस रिकग्नाइज़र सपोर्ट करता है, और छोटे जवाब नॉर्वेजियन को छोड़कर उन सभी में काम करते हैं।
• स्पीकर या हेडफ़ोन। AirPods या दूसरे हेडफ़ोन के साथ Orvena पूरे समय सुनता है। iPhone के अपने स्पीकर पर वह इको कैंसलेशन पर निर्भर रहता है, और उसके बिना Orvena इसकी जगह जवाबों के बीच में सुनता है।

आम सवाल

बीच में टोकना किन मॉडलों के साथ काम करता है?

Orvena का अपना मॉडल, Apple Intelligence, Private Cloud Compute, और अपनी कुंजी से जोड़े गए क्लाउड मॉडल। जवाब चाहे कोई भी मॉडल लिखे, Cue फ़ोन पर ही चलता है। अपनी OpenAI कुंजी वाले लाइव वॉइस सेशन में, OpenAI का रियलटाइम मॉडल बीच में टोके जाने को ख़ुद संभालता है।

क्या यह ऑफ़लाइन काम करता है?

हाँ, जब Cue और आवाज़ें फ़ोन पर आ चुकी हों और जवाब Orvena के मॉडल या Apple Intelligence से आए। स्पीच रिकग्निशन, फ़ैसला और आवाज़, सब iPhone पर चलते हैं।

Orvena के बोलते समय मैं जो कहता हूँ, क्या वह उसे रखता है?

वह इसे Apple के ऑन-डिवाइस रिकग्नाइज़र से ट्रांसक्राइब करता है, जैसे आपकी बारी सुनते समय करता है, और Cue उस ट्रांसक्रिप्ट को फ़ोन पर पढ़ता है। जिन शब्दों के बारे में वह तय करता है कि वे उसके लिए नहीं थे, उन्हें हटा दिया जाता है और वे बातचीत का हिस्सा नहीं बनते।

जवाब देने से पहले Orvena "एक मिनट" क्यों कहता है?

जब कोई अनुरोध भाषा मॉडल के पास जाता है और 0.8 सेकंड तक कोई कुछ नहीं बोलता, तो Orvena एक छोटी-सी पंक्ति बोलता है, ताकि आपको पता रहे कि उसने आपको सुन लिया है। अगर जवाब में 10 सेकंड से ज़्यादा लगें, तो वह बताता है कि वह अभी भी काम कर रहा है।

क्या Cue ओपन सोर्स है?

वेट्स, Neural Engine के लिए एक Core ML वर्ज़न और रेफ़रेंस कोड Apache 2.0 के तहत Hugging Face पर हैं, जो उस Qwen3 मॉडल का भी लाइसेंस है जिस पर यह बना है। ट्रेनिंग डेटा भी वहीं CC BY 4.0 के तहत प्रकाशित है।