ChatGPT 4o बनाम Gemini 1.5 Pro: यह बिलकुल भी बराबर नहीं है

ChatGPT 4o बनाम Gemini 1.5 Pro: यह बिलकुल भी बराबर नहीं है

संक्षेप में

OpenAI ने स्प्रिंग अपडेट इवेंट में अपना फ्लैगशिप GPT-4o मॉडल पेश किया और इसे सभी के लिए मुफ़्त कर दिया। एक दिन बाद ही, Google I/O 2024 इवेंट में, Google ने Gemini Advanced के ज़रिए उपभोक्ताओं के लिए Gemini 1.5 Pro मॉडल लॉन्च किया। अब जबकि उपभोक्ताओं के लिए दो फ्लैगशिप मॉडल उपलब्ध हैं, तो आइए ChatGPT 4o और Gemini 1.5 Pro की तुलना करें और देखें कि कौन सा मॉडल बेहतर काम करता है। इसी बात पर, चलिए शुरू करते हैं।

Note:
एकरूपता सुनिश्चित करने के लिए, हमने अपने सभी परीक्षण Google AI स्टूडियो और Gemini Advanced पर किए हैं। दोनों में नवीनतम Gemini 1.5 Pro मॉडल होस्ट किया गया है।

Table of Contents

• सुखाने का समय गणना करेंमैजिक एलेवेटर टेस्टसेब का पता लगाएँकौन सा भारी है?उपयोगकर्ता के निर्देशों का पालन करेंमल्टीमॉडल इमेज टेस्टचरित्र पहचान परीक्षणगेम बनाएँनिर्णय

 

1. सुखाने का समय गणना करें

Image Source: https://beebom.com/chatgpt-4o-vs-gemini-1-5-pro/[/caption]

हमने ChatGPT 4o और Gemini 1.5 Pro पर उनकी बुद्धिमत्ता का परीक्षण करने के लिए क्लासिक रीजनिंग टेस्ट चलाया। OpenAI के ChatGPT 4o ने इसे पास कर लिया, जबकि बेहतर Gemini 1.5 Pro मॉडल को ट्रिक प्रश्न को समझने में संघर्ष करना पड़ा। यह गणितीय गणनाओं में उलझ गया, और गलत निष्कर्ष पर पहुँच गया।

विजेता: ChatGPT 4o

2. मैजिक एलेवेटर टेस्ट

मैजिक एलेवेटर टेस्ट में, पहले वाला ChatGPT 4 मॉडल उत्तर का सही अनुमान लगाने में विफल रहा था। हालाँकि, इस बार, ChatGPT 4o मॉडल ने सही उत्तर दिया। Gemini 1.5 Pro ने भी सही उत्तर दिया।

एक ऊँची इमारत है जिसमें एक जादुई लिफ्ट है। समतल मंजिल पर रुकने पर, यह लिफ्ट पहली मंजिल से जुड़ जाती है।

विजेता: ChatGPT 4o और Gemini 1.5 Pro

3. सेब का पता लगाएँ (Locate the Apple)

इस परीक्षण में, Gemini 1.5 Pro प्रश्न की बारीकियों को समझने में पूरी तरह विफल रहा। ऐसा लगता है कि Gemini मॉडल चौकस नहीं है और प्रश्न के कई महत्वपूर्ण पहलुओं को अनदेखा करता है। दूसरी ओर, ChatGPT 4o सही ढंग से कहता है कि सेब ज़मीन पर बॉक्स में हैं। ओपनएआई को बधाई!

विजेता: ChatGPT 4o

4. कौन भारी है?

इस सामान्य ज्ञान तर्क परीक्षण में, जेमिनी 1.5 प्रो उत्तर गलत देता है और कहता है कि दोनों का वजन समान है। लेकिन ChatGPT 4o सही ढंग से इंगित करता है कि इकाइयाँ अलग-अलग हैं, इसलिए, किसी भी सामग्री का एक किलोग्राम वजन एक पाउंड से अधिक होगा। ऐसा लगता है कि समय के साथ बेहतर जेमिनी 1.5 प्रो मॉडल कमज़ोर हो गया है।

विजेता: ChatGPT 4o

5. उपयोगकर्ता के निर्देशों का पालन करें

मैंने ChatGPT 4o और जेमिनी 1.5 प्रो से “आम” शब्द के साथ समाप्त होने वाले 10 वाक्य बनाने के लिए कहा। अंदाज़ा लगाइए? ChatGPT 4o ने सभी 10 वाक्य सही तरीके से बनाए, लेकिन जेमिनी 1.5 प्रो केवल 6 ऐसे वाक्य बना सका।

GPT-4o से पहले, केवल Llama 3 70B उपयोगकर्ता के निर्देशों का ठीक से पालन करने में सक्षम था। पुराना GPT-4 मॉडल भी पहले संघर्ष कर रहा था। इसका मतलब है कि OpenAI ने वास्तव में अपने मॉडल में सुधार किया है।

विजेता: ChatGPT 4o

6. मल्टीमॉडल इमेज टेस्ट

द लिटिल बुक ऑफ़ डीप लर्निंग के लेखक, फ़्राँस्वा फ़्लुरेट ने ChatGPT 4o पर एक सरल इमेज विश्लेषण परीक्षण किया और परिणाम X (पूर्व में Twitter) पर साझा किए। उन्होंने इस मुद्दे को बढ़ा-चढ़ाकर पेश करने से बचने के लिए अब ट्वीट हटा दिया है क्योंकि उनका कहना है कि यह विज़न मॉडल के साथ एक सामान्य समस्या है।

फिर भी, मैंने परिणामों को पुन: प्रस्तुत करने के लिए अपने अंत से Gemini 1.5 Pro और ChatGPT 4o पर एक ही परीक्षण किया। Gemini 1.5 Pro ने बहुत खराब प्रदर्शन किया और सभी प्रश्नों के गलत उत्तर दिए। दूसरी ओर, ChatGPT 4o ने एक सही उत्तर दिया लेकिन अन्य प्रश्नों पर विफल रहा।

यह दर्शाता है कि ऐसे कई क्षेत्र हैं जहाँ मल्टीमॉडल मॉडल में सुधार की आवश्यकता है। मैं Gemini की मल्टीमॉडल क्षमता से विशेष रूप से निराश हूँ क्योंकि यह सही उत्तरों से बहुत दूर लग रहा था।

विजेता: कोई नहीं

7. कैरेक्टर रिकॉग्निशन टेस्ट

एक अन्य मल्टीमॉडल टेस्ट में, मैंने दो फोन (पिक्सल 8a और पिक्सेल 8) के स्पेसिफिकेशन इमेज फॉर्मेट में अपलोड किए। मैंने फोन के नाम नहीं बताए, और न ही स्क्रीनशॉट में फोन के नाम थे। अब, मैंने ChatGPT 4o से पूछा कि मुझे कौन सा फोन खरीदना चाहिए।

इसने स्क्रीनशॉट से टेक्स्ट सफलतापूर्वक निकाले, स्पेसिफिकेशन की तुलना की, और मुझे सही ढंग से फोन 2 लेने के लिए कहा, जो वास्तव में पिक्सेल 8 था। इसके अलावा, मैंने इसे फोन का अनुमान लगाने के लिए कहा, और फिर से, ChatGPT 4o ने सही उत्तर दिया – पिक्सेल 8।

मैंने Google AI स्टूडियो के माध्यम से Gemini 1.5 Pro पर भी यही टेस्ट किया। वैसे, Gemini Advanced अभी तक इमेज के बैच अपलोड का समर्थन नहीं करता है। नतीजों की बात करें, तो यह दोनों स्क्रीनशॉट से टेक्स्ट निकालने में विफल रहा और अधिक विवरण मांगता रहा। इस तरह के परीक्षणों में, आप पाते हैं कि जब काम को सहजता से करने की बात आती है तो Google OpenAI से बहुत पीछे है।

विजेता: ChatGPT 4o

8. गेम बनाएँ

अब ChatGPT 4o और Gemini 1.5 Pro की कोडिंग क्षमता का परीक्षण करने के लिए, मैंने दोनों मॉडलों से गेम बनाने के लिए कहा। मैंने अटारी ब्रेकआउट गेम का एक स्क्रीनशॉट अपलोड किया (बेशक, नाम बताए बिना), और ChatGPT 4o से इस गेम को पायथन में बनाने के लिए कहा। कुछ ही सेकंड में, इसने पूरा कोड तैयार कर दिया और मुझसे एक अतिरिक्त “pygame” लाइब्रेरी इंस्टॉल करने के लिए कहा।

मैंने लाइब्रेरी को pip इंस्टॉल किया और पायथन के साथ कोड चलाया। गेम बिना किसी त्रुटि के सफलतापूर्वक लॉन्च हुआ। कमाल है! आगे-पीछे डिबगिंग की कोई ज़रूरत नहीं थी। वास्तव में, मैंने ChatGPT 4o से रिज्यूम हॉटकी जोड़कर अनुभव को बेहतर बनाने के लिए कहा और इसने तुरंत कार्यक्षमता जोड़ दी। यह बहुत बढ़िया है।

इसके बाद, मैंने वही छवि Gemini 1.5 Pro पर अपलोड की और इसे इस गेम के लिए कोड बनाने के लिए कहा। इसने कोड तो बनाया, लेकिन इसे चलाने पर, विंडो बंद होती रही। मैं गेम बिल्कुल नहीं खेल सका। सीधे शब्दों में कहें तो कोडिंग कार्यों के लिए ChatGPT 4o, Gemini 1.5 Pro से कहीं ज़्यादा विश्वसनीय है।

विजेता: ChatGPT 4o

निर्णय

यह स्पष्ट है कि Gemini 1.5 Pro, ChatGPT 4o से काफ़ी पीछे है। पूर्वावलोकन के दौरान महीनों तक 1.5 Pro मॉडल में सुधार करने के बाद भी, यह OpenAI के नवीनतम GPT-4o मॉडल से प्रतिस्पर्धा नहीं कर सकता। सामान्य ज्ञान से लेकर मल्टीमॉडल और कोडिंग परीक्षणों तक, ChatGPT 4o बुद्धिमानी से काम करता है और निर्देशों का ध्यानपूर्वक पालन करता है। याद रखें, OpenAI ने ChatGPT 4o को सभी के लिए मुफ़्त बना दिया है।

Gemini 1.5 Pro के लिए एकमात्र चीज़ जो अच्छी है, वह है 1 मिलियन टोकन तक के समर्थन के साथ विशाल संदर्भ विंडो। इसके अलावा, आप वीडियो भी अपलोड कर सकते हैं जो एक फ़ायदा है। हालाँकि, चूँकि मॉडल बहुत स्मार्ट नहीं है, इसलिए मुझे यकीन नहीं है कि बहुत से लोग इसे सिर्फ़ बड़ी संदर्भ विंडो के लिए इस्तेमाल करना चाहेंगे।

Google I/O 2024 इवेंट में, Google ने किसी नए फ्रंटियर मॉडल की घोषणा नहीं की। कंपनी अपने इंक्रीमेंटल जेमिनी 1.5 प्रो मॉडल पर अटकी हुई है। जेमिनी 1.5 अल्ट्रा या जेमिनी 2.0 के बारे में कोई जानकारी नहीं है। अगर गूगल को ओपनएआई से मुकाबला करना है, तो उसे एक बड़ी छलांग लगानी होगी।

 

Original Content:- https://beebom.com/chatgpt-4o-vs-gemini-1-5-pro/