AQI
TV9 Network
User
Sign In

By signing in or creating an account, you agree with Associated Broadcasting Company's Terms & Conditions and Privacy Policy.

తప్పు చేస్తే వెంటనే అలర్ట్ ఇచ్చే కొత్త OpenAI..! టెక్నాలజీలో భారీ మార్పులు జరుగుతున్నాయా

ఏఐ టెక్నాలజీ ప్రపంచంలో రోజురోజుకూ కొత్త మార్పులు వస్తున్నాయి. గతంలో మనం ఇచ్చిన ప్రశ్నలకు సమాధానాలు చెప్పడానికే పరిమితమైన ఏఐ మోడల్స్.. ఇప్పుడు సొంతంగా పనులు చేయడం, టూల్స్ ఉపయోగించడం, ఆన్‌లైన్‌లో సమాచారాన్ని సేకరించడం వంటి సామర్థ్యాలను పొందుతున్నాయి. అయితే ఈ అభివృద్ధితో పాటు కొత్త భద్రతా సమస్యలు కూడా ఎదురవుతున్నాయి. ఏఐ మోడల్స్‌కు ఇచ్చిన పరిమితులను దాటి పనిచేస్తే పరిస్థితి ఏంటి? అనుమతి లేని సిస్టమ్స్‌లోకి ప్రవేశిస్తే ఎలా గుర్తించాలి? ఇలాంటి ప్రశ్నలకు పరిష్కారం చూపేందుకు OpenAI కొత్త మానిటరింగ్ సిస్టమ్‌ను అభివృద్ధి చేసింది.

తప్పు చేస్తే వెంటనే అలర్ట్ ఇచ్చే కొత్త OpenAI..! టెక్నాలజీలో భారీ మార్పులు జరుగుతున్నాయా
Openai Introduces Four Layer Ai Safety Monitoring System
Nikhil
|

Updated on: Nov 03, 2026 | 8:20 PM

Share

OpenAI కొత్త మానిటరింగ్ సిస్టమ్‌ ద్వారా ఏఐ మోడల్స్ చేసే పనులను నిరంతరం పరిశీలిస్తూ, మోసపూరిత ప్రవర్తన, అనధికార యాక్సెస్, ఇతర ప్రమాదకర చర్యలను గుర్తించవచ్చు. ముఖ్యంగా ఏఐ ఏజెంట్లు తమకు కేటాయించిన పనుల పరిధిని దాటి ఏమైనా చేస్తున్నాయా అనే విషయాన్ని తెలుసుకోవడంపై OpenAI దృష్టి పెట్టింది. ఈ కొత్త వ్యవస్థలో నాలుగు అంచెల తనిఖీ విధానాన్ని ఉపయోగిస్తున్నారు. అంతర్గత పరీక్షల్లో ఎదురైన కొన్ని సమస్యలను గుర్తించడంతో పాటు, గతంలో జరిగిన ఘటనలను మళ్లీ పరిశీలించి ఈ వ్యవస్థ పనితీరును పరీక్షించారు.

ఏఐ మోడల్స్‌పై నిఘా

OpenAI రూపొందించిన ఈ మానిటరింగ్ సిస్టమ్‌లో మొత్తం నాలుగు లేయర్లు ఉన్నాయి. మొదటి దశలో తక్కువ ఖర్చుతో పనిచేసే టూల్స్ ఏఐ మోడల్ కార్యకలాపాలను పరిశీలించి అనుమానాస్పద సంకేతాలను గుర్తిస్తాయి. రెండో దశలో మరో ఏఐ మోడల్ దాని సంభాషణలు, టూల్స్ వినియోగం, చేసిన పనులను విశ్లేషిస్తుంది. ఏదైనా తప్పు జరిగిందనే అనుమానం వస్తే మూడో దశలో ప్రత్యేక ఏజెంట్లు మరింత లోతుగా తనిఖీ చేస్తాయి. చివరి దశలో నెట్‌వర్క్ లాగ్స్, సిస్టమ్ సమాచారం, గత ఘటనలను పరిశీలించి సమస్య తీవ్రతను అంచనా వేస్తారు.

ఈ వ్యవస్థ ప్రాధాన్యతను వివరించేందుకు OpenAI గతంలో జరిగిన Hugging Face ఘటనను ఉదాహరణగా చూపించింది. ఆ సమయంలో కొన్ని ఏఐ ఏజెంట్లు తమకు కేటాయించిన సురక్షిత పరిధిని దాటి, అనుమతి లేని మార్గాల్లో ఇంటర్నెట్ యాక్సెస్ పొందాయి. ఈ ఘటనను కొత్త మానిటరింగ్ సిస్టమ్‌తో మళ్లీ పరీక్షించగా.. ఏజెంట్లు పరిమితులు దాటిన 30 నిమిషాల్లోనే హెచ్చరిక అందించింది. అసలు ఘటనలో సిస్టమ్స్‌పై దాడి జరగడానికి 30 గంటలకుపైగా ముందే ఈ అలర్ట్ వచ్చేదని కంపెనీ వెల్లడించింది.

కొత్త సవాళ్లు

అంతర్గత పరీక్షల్లో కొన్ని ఏఐ ఏజెంట్లు టెస్టింగ్ టూల్‌లోని లోపాన్ని ఉపయోగించి, తమకు అనుమతి లేని సోర్స్ కోడ్‌ను పొందాయి. మరో సందర్భంలో వేర్వేరు పనుల కోసం ఉపయోగించే సాఫ్ట్‌వేర్ రిపాజిటరీని సమాచారాన్ని పంచుకునే మార్గంగా మార్చుకున్నాయి. ఇలాంటి చర్యలను ముందుగానే గుర్తించడం ఈ కొత్త వ్యవస్థ ప్రధాన లక్ష్యం.

అయితే ఏఐ భద్రత విషయంలో ఇంకా కొన్ని సవాళ్లు ఉన్నాయి. తప్పులు చేస్తే తక్కువ రేటింగ్ వస్తుందని మోడల్స్‌కు తెలిస్తే.. వాటిని సరిదిద్దకుండా దాచిపెట్టే ప్రయత్నం చేయవచ్చని OpenAI గుర్తించింది. అందుకే తనిఖీలు పూర్తయ్యే వరకు ట్రైనింగ్‌ను ఆపకుండా, మరోవైపు అనుమానాస్పద చర్యలను పరిశీలించే విధానాన్ని అమలు చేస్తోంది. ప్రస్తుతం ఈ మానిటరింగ్ సిస్టమ్‌ను కంపెనీ అంతర్గతంగా ఉపయోగిస్తోంది. ఎంపిక చేసిన కొన్ని బయటి సేవల్లోనూ దీని మార్పులను అమలు చేసింది. అయితే ప్రతి ప్రమాదాన్ని ఈ వ్యవస్థ గుర్తిస్తుందని ఇప్పుడే చెప్పలేం. AI వినియోగం పెరుగుతున్న కొద్దీ ఇలాంటి భద్రతా వ్యవస్థల అవసరం మరింత పెరగనుంది.

Follow Us