সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান

গুগল এডসেন্স থেকে আয় করার উপায়

আপনি কি সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান সম্পর্কে জানতে চান তাহলে  এই আর্টিকেলটি আপনার জন্য। সাধারণভাবে ওয়েবসাইটে এটা শুরু হলে এর সমস্যা কোথায় এটা জানা খুব জরুরী।

সার্চ কনসোলে Indexed but Blocked by Robots.txt error এর কারণগুলো কি কি, এটা ঠিক করার উপায় এবং ভবিষ্যতে  এটা যাতে না হয় তার সঠিক কি কি পদক্ষেপ নেয়া যায় বিস্তারিত আলোচনা করা হবে এই আর্টিকেলে। বিস্তারিত জানতে আর্টিকেলটি মনোযোগ সহকারে পড়ুন।

পেজ সূচিপত্রঃ সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান

• সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান
• Robots.txt ত্রুটি কি ? 
• Robots.txt ফাইল কিভাবে খোলা যায় 
• Robots.txt ফাইল কিভাবে চেক করা যায় 
• Robots.txt ফাইল কি কাজ করে
• এই সমস্যা হওয়ার কারণ গুলো কি কি
• পেজ থেকে ভুল Noindex ট্যাগ রিমুভ করতে হবে
• কোন পেজের URL ব্লক হয়েছে বের করতে হবে
• সমস্যা এড়ানোর জন্য যা যা করতে হবে
• আমাদের শেষ কথাঃ সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান

সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান

গুগল সার্চ ইঞ্জিন যখন কোন ওয়েবসাইট ভিজিট করে তখন গুগল এর বট গুলো সেই ওয়েবসাইটের প্রতিটা পেজ ঘুরে ঘুরে তথ্য সংগ্রহ করে থাকে। এই তথ্যগুলোই সার্চ রেজাল্টে দেখানোর কাজে লাগে । কিন্তু গুগল একটা পেজকে গুরুত্বপূর্ণ মনে করে ইনডেক্স করতে চায়। অথচ Robots.txt ফাইল এর  নিয়মের কারণে পেজটির ভিতরে ঢুকতে পারেনা ।তখন সেই পেজটিকে subsconce হলে ইনডেক্স দেখায় । Blocked by Robots.txt error অর্থ হল google পেজটি আছে বলছে কিন্তু ভেতরের লেখা, ছবি , ডেটা কোন কিছুই সে পড়তে পারেনি। এজন্য পেজটি সার্চ রেজাল্টে দেখালেও সেটার রেংকিং ভালো হয় না।

আরও পড়ুনঃ  সৌদি আরবে বাংলাদেশী ব্যাংক অ্যাকাউন্ট খোলার পদ্ধতি

টাইটেল , মেটা ডেসক্রিপশন দেখা গেলেও কনটেন্ট না পড়তে পারার কারণে গুগল বুঝতে পারেনা পেজটা আসলে কি নিয়ে। তাই র‍্যাংকিং সবার নিচে চলে যায়। অনেক নতুন ব্লগার ওয়েবসাইটে না বুঝে Robots.txt ফাইলে Disallow দিয়ে রাখে। সে মনে করে অপ্রয়োজনীয় পেজ ব্লক হবে। আর সাইটটি হালকা হবে। এর ফলে দরকারি পেজ ও আটকে যায়, যার কারণে সমস্যা সৃষ্টি হয়।সার্চ কনসোলে গিয়ে বাম পাশের মেনু থেকে ইনডেক্সিং অপশন খুঁজে বের করতে হবে। Indexing অপশন থেকে পেজে প্রবেশ করতে হবে। পেজ রিপোর্ট এর ভেতরে Indexed but Blocked by Robots.txt error যেটাই লেখা আছে সেখানে ক্লিক করতে হবে। কোন কোন URL এ সমস্যায় সেটা দেখা যাবে। 

প্রতিটি URL আলাদা আলাদা করে দেখতে হবে। তখন আপনাকে ভেবে দেখতে হবে ঐ URL টাকে আপনি দৃশ্যমান রাখতে চান নাকি একদমই ব্লক করে রাখতে চান। আপনি যদি মনে করেন গুগলে দেখাবেন, তাহলে সেই আপনার সাইটটি Robots.txt ফাইল খুলুন। সেখানে যদি Disallow থাকে সেটা সরিয়ে দিয়ে সেটিংস পরিবর্তন করুন। পরিবর্তন করা হয়ে গেলে ফাইলটা ঠিকমতো সেভ করে সাইটে আপডেট করতে হবে। Robots.txt ফাইল আপডেট করার পর সার্চ কনসোলে URL Inspection Tool দিয়ে যে URL গুলো আছে সেগুলো চেক করে নিতে হবে। এরপর Request Indexing অপশনে ক্লিক করতে হবে। 

গুগল নতুন নিয়ম অনুযায়ী পেজটিকে যেন ক্রল করে। আপনার ওয়েবসাইটের কোন পেজ যদি আপনার ইচ্ছা অনুযায়ী ব্লক করা থাকে তাহলে সেটা নিয়ে দুশ্চিন্তার কোন কারণ নেই। অনেক সময় টেস্ট বা ব্যক্তিগত তথ্যের মতো জিনিস থাকা পেজগুলো সিকিউরিটির খাতিরে Robots.txt   দিয়ে আটকে রাখা হয় এটা স্বাভাবিক এসিও পদ্ধতি। তবে কয়েকদিন পরে Google Search Console  পেজে রিপোর্ট আবার দেখে নিতে হবে ।

Robots.txt ত্রুটি বলতে কী বোঝায়

Robots.txt ত্রুটি হলো এক ধরনের সমস্যা, যেখানে আপনার ওয়েবসাইটের Robots.txt  ফাইলে কিছু ভুল নিয়ম বা অনিচ্ছাকৃত শর্তে ব্লক থাকে। তখন সেটা সার্চ ইঞ্জিনের ভর ঠিকমতো নির্দিষ্ট পেজ বা ফাইল ক্রল করতে পারেনা। এজন্য গুরুত্বপূর্ণ পেজ গুগলের সার্চ রেজাল্টে ঠিকভাবে প্রদর্শিত হয় না। মনে করেন Robots.txt  ফাইল ভুলভাবে কোন জরুরি পেজের জন্য Disallow নির্দেশনা ঢুকে পড়েছে ।তখন গুগল বট পেজটার কন্টেন্ট এক্সসেপ্ট করতে পারেনি। এমন সময় সার্ভারের ভেতরে ইস্যু বা  Robots.txt ফাইল পাওয়া যাচ্ছে না। এ কারণে ঝামেলা শুরু হয়ে গেছে। তাই আপনার সাইটের Robots.txt  ফাইলটি  নিয়মিত চেক করা খুব গুরুত্বপূর্ণ। কারণ সঠিকভাবে সেটআপ করা Robots.txt  সার্ভার কে দরকারি পেজগুলোকে ক্রল করতে সহায়তা করে। এসইও পারফরম্যান্স উন্নত রাখতে সাহায্য করে থাকে।

Robots.txt ফাইল কিভাবে খোলা যায় 

Robots.txt ফাইল খুলে দেখার সবচেয়ে সহজ উপায় হচ্ছে আপনার কম্পিউটারে যে কোন ব্রাউজার চালু করতে হবে। সেখানে স্যার সব অপশনে আপনার ওয়েবসাইটে ডোমেনের শেষে Robots.txt লিখে ইন্টার দিতে হবে। আপনার সাইটটা www.example.com  হয় তাহলে সেখানে Robots.txt  লিখলেই খুলে যাবে। আর যদিRobots.txt ফাইলটা সাইডে থেকে যায় তাহলে দ্রুত এর নিয়মগুলো দেখা যায়। কিন্তু যদি 404 not found আসে বা কোন ফাইল না দেখা যায় তাহলে বোঝা যাবে আপনার সাইটে এখনো  Robots.txt  তৈরি করা নেই। আপনি যদি ওয়ার্ডপ্রেস ব্যবহার করেন তাহলে SEO প্লাগিন দিয়ে অথবা হোস্টিংয়ের ফাইল ম্যানেজার থেকে Robots.txt  ফাইল এমনকি দেখা, এমনকি সম্পাদনা করতে পারবেন। সঠিকভাবে এই Robots.txt  পরিচালনা করলেও ওয়েবসাইটের ক্রোলিং বা অনুসন্ধান চলাচল নিয়ন্ত্রণ করা সহজ হয় এবং পারফরমেন্স এগিয়ে যায়।

Robots.txt ফাইল কিভাবে চেক করা যায়  

Google নির্দিষ্ট সময় মেনে Robots.txt  চেক করে না। গুগল বট যখন নিয়মিতভাবে কোন ওয়েবসাইট ভিজিট করে তখন সে Robots.txt ফাইল টা দেখে নেয়। বিশেষ করে কোন সাইডে নতুন পেজ  ক্রল করতে যায় বা কিছু একটা হঠাৎ আপডেট থাকলে আপনি যদি আপনার সাইটে প্রায়ই পরিবর্তন করেন। তাহলে গুগল তুলনামূলকভাবে বেশি ঘন ঘন Robots.txt চেক করে আপনার সাইট যদি কম আপডেট হয়, তাহলে ঐ চেক করার ব্যবধানটাও কিছুটা  বেশি। গুগল সাধারণত Robots.txt সার্চ করে রাখে। বারবার সার্ভার থেকে সরাসরি নামিয়ে আনতে হয় না। কিন্তু ক্রোলিং রুটিনে এমন পরিবর্তনের সম্ভাবনা দেখা দিলে তখন এটি আবার নতুন করে Robots.txt যাচাই করে ফেলে।  

Robots.txt ফাইল কি কাজ করে 

Robots.txt ফাইল ওয়েবসাইটের ক্রলিং নিয়ন্ত্রণ করার জন্য খুব গুরুত্বপূর্ণ ফাইল। এর ভিতরে আপনি সার্চ ইঞ্জিন বটকে বলে দিতে পারবেন কোন পেজ কোন ফোল্ডার, কোন ফাইল , যেন ক্রল করা যায়।  আর কোন জায়গায় প্রবেশ করা ঠিক না। Robots.txt মূলত ক্রোলিং কে গাইড করে কিন্তু সকল ক্ষেত্রে ইন্ডেক্সিং পুরোপুরি বন্ধ করে দেয় না। উদাহরণস্বরূপ বলা যায় কোন পেজ Robots.txt  দিয়ে যদি ব্লক করা থাকে তবু সে পেজের লিংক অন্য কোথাও পাওয়া গেলে গুগল কখনো সেটাকে ইনডেক্স করে ফেলে। আর যদি ভালভাবে ব্যবহার করা হয় তাহলে রোবটটি একটি অপ্রয়োজনীয় টুল হওয়াতে ক্রল বাজেট অনেকটা বাঁচাতে সাহায্য করে। এমনকি গুরুত্বপূর্ণ পেজগুলোকে দ্রুত কল করতেও সুবিধা দেয়। SEO পরিচালনায় Robots.txt  আসলে একটা কার্যকর ও বেশ গুরুত্বপূর্ণ টুল।

এই সমস্যা হওয়ার কারণগুলো কি কি

বেশিরভাগ সমস্যা Robots.txt ফাইলের ভুল সেটিং থেকে হয়ে থাকে ।সাধারণত অনেকেই  wp-admin বা  wp-includes ফোল্ডার ব্লক করে রেখে দেয়। তার স্বাভাবিক নিরাপত্তার জন্য কিন্তু ভুল করার দরকারি পেজ ও এর মধ্যে পড়ে যায়। Disallow লিখে দিলে পুরো সাইটটি ব্লক হয়ে যায়। এটা নতুনদের একটি সাধারণ ভুল। দ্বিতীয়তঃ এসিও প্লাগিন এর ভুল কনফিগারেশন ।বিভিন্ন ধরনের SEO  রয়েছে। যেমন-All in one SEO, Rank Math , Yoast SEO । এ সকল SEO প্লাগিনগুলোতে অটো Disallow  বা Noindex  অপশন চালু থাকলে অটোমেটিক ব্লক হয়ে যায়। অনেক সময় ডিফল্ট সেটিং লক্ষ্য করা হয় না প্লাগিন আপডেটের পরও সেটিং রিসেট হয়ে যায় ।

তৃতীয়তঃ কাস্টম থিম বা কোড থেকেও Noindex ,Meta tag  চলে আসার সম্ভাবনা থাকে। কখনো কখনো টেস্ট করার জন্য থিম ডেভলপাররা এটা রেখে দেয়। পরে সেটা সরাতে ভুলে যায়। ফলে পেজ ইনডেক্স হয় না। চতুর্থত আগের পোস্ট ডিলিট করে দিলেও যদি সেটার URL কোথাও থেকে যায় গুগল সেটাকে ইনডেক্স করতে চায়, কিন্তু Robots.txt ব্লক থাকায় ঢুকতে পারে না। পঞ্চমত ক্যাশ  প্লাগিন বা CDN সেটিং থেকেও মাঝে মাঝে পুরনো Robots.txt লোডিং হয়। এজন্য আপনি আপনার ফাইল যতই ঠিক করেন গুগল পুরনো ভার্সনই দেখে। ষষ্ঠতঃ সাইটে ভুল করে  Noindex রেখে দিলে লাইফ সাইটেও প্রভাব পড়তে পারে। তাই লাইভ দেওয়ার আগে সব সেভ করে সঠিক করে নিতে হয়। 

পেজ থেকে ভুল Noindex ট্যাগ রিমুভ করতে হবে

কোন পেজের HTML ভিউতে যদি <meta name="robots" content ="noindex"> থাকে তাহলে গুগল সেটাকে ইনডেক্স করতে চায় না। এই ট্যাগ সাধারণত SEO প্লাগিন থেকে অটো যোগ হয়ে যায়। WordPress ব্যবহার করলে Yoast বা Rank Math  প্লাগিনের Advanced সেটিংসে গিয়ে এই অপশনটি চেক করে দেখতে পারেন। সেখানে Noindex  অপশন বন্ধ করে দিতে হবে। কাস্টম থিম ব্যবহার করলে Header .php ফাইলে গিয়ে ম্যানুয়ালি চেক করতে হবে। অনেক সময় থিম ডেভলপাররা টেস্ট করার জন্য এটা রেখে দেয়। ট্যাগ সরানোর পর পেজটাকে আবার পাবলিশ করতে হবে। তারপর URL Inspection  ইনডেক্স রিকোয়েস্ট দিতে হবে। তখন গুগল পেজটাকে নতুন করে ক্রল করে ইনডেক্স করে নিবে। কিছুদিন পরে সার্চ রেজাল্টও দেখা যাবে। এরপর সেটা চেক করে দেখতে হবে। Noindex এসিওর জন্য খুবই গুরুত্বপূর্ণ ।

সমাধানের পর Google কে Reindex করার নিয়ম

আপনার সমস্যা সমাধান করার পর Google জানাতে হবে সে যেন পেজটা আবার ক্রল করে। সেজন্য Search Console URL Inspection টুল ব্যবহার করতে হবে। টুলে  গিয়ে URL বসিয়ে Enter দিলে Request Indexing অপশন আসে, সেখানে ক্লিক করলে google পেজটা কিউ তে পাঠিয়ে দেয়। এভাবে আপনি ধাপে ধাপে পর্যায়ক্রমে রিকুয়েস্ট দিতে পারবেন। Bulk Indexing এর জন্য Sitemap আপডেট করাটাই সবচেয়ে গুরুত্বপূর্ণ। রিকোয়েস্ট দেওয়ার পর ইনডেক্স হতে সময় লাগতে পারে ২৪ ঘন্টা থেকে ৭ দিন। এটা নির্ভর করে সাইটের অথরিটির  উপর ।নতুন সাইট হলে একটু বেশি সময় লাগে। রিকোয়েস্ট দেওয়ার পর  সার্ভার স্ট্যাটাস চেক করতে হবে। যদি ইনডেক্স দেখায় তাহলে বুঝতে হবে ঠিক হয়েছে। এভাবে সার্চ অঞ্চলের রিপোর্ট থেকেও ধীরে ধীরে কমে যাবে। সময় এবং ধৈর্য ধরে কাজ করতে হবে। কারণ গুগলের ক্রল সময় লাগে।

সমস্যা এড়ানোর জন্য যা যা করতে হবে 

আপনি যতবার Robots.txt ফাইল এডিট করবেন সেটা এডিট করার আগে একটা ব্যাকআপ রেখে দিতে হবে। ভুল হলে সাথে সাথে আগের ভার্সন রিস্টোর করে  নিতে হবে। এটা সবচেয়ে গুরুত্বপূর্ণ অভ্যাস। নতুন পোস্ট পাবলিশ করার পর সার্চ  কনসোলে গিয়ে সেটা চেক করে নিতে হবে। সবকিছু ঠিক আছে কিনা কভারেজ রিপোর্টে নতুন এরর এসেছে কিনা তা দেখতে হবে।SEO প্লাগিন এর অটো সেটিংস না বুঝে চালু করা উচিত হবে না ।প্রথমে আপনার ডকুমেন্টেশন পড়ে নিতে হবে অথবা ইউটিউবে টিউটোরিয়াল দেখতে হবে। মাসে একবার কভারেজ  Coverage রিপোর্ট রিভিউ করে দেখবেন। এতে ছোট সমস্যাও বড় হওয়ার আগে দেখা যায়।সাইটে টেস্ট না করে লাইফ সাইটে কোন পরিবর্তন করতে হবে না। এতে রিক্স অনেক কমে যায়। এই ছোট্ট অভ্যাসগুলো আপনার সাইটকে SEO  ফ্রেন্ডলি রাখবে আর রেংকিং এ ভালো অবস্থানে রাখবে।

আমাদের শেষ কথাঃ সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান

সার্চ কনসোলে Indexed but Blocked by Robots.txt error সমাধান এটি সাধারণত কনফিগারেশন এর ভুলের কারণে হতে পারে। গুগল পেজ দেখতে চায় কিন্তু Robots.txt বাধা দেয়। পেজ ইনডেক্স হলেও র‍্যাঙ্ক করে না, সমস্যা চিহ্নিত করে নো ইনডেক্স ট্যাগ ঠিক করলেই সমাধান হয়। ওয়ার্ডপ্রেস ব্যবহার করলে প্লাগিন সেটিং চেক করাটাই সবচেয়ে সহজ হয়।SEO জন্য প্রতিটা পেজ ঠিকভাবে ইনডেক্স হওয়া জরুরী। ছোট ভুল বড় সমস্যা ডেকে আনতে পারে। নিয়মিত প্র্যাকটিস করলে SEO এর অংশটা অনেক সহজ হয়ে যাবে।

এতক্ষণ আমাদের সঙ্গে থাকার জন্য অসংখ্য ধন্যবাদ। এ আর্টিকেলটি যদি আপনার ভালো লাগে তাহলে অবশ্যই বন্ধু-বান্ধব , আত্মীয়-স্বজন সকলের কাছে শেয়ার করবেন। কোন প্রকার ভুল ত্রুটি হলে ক্ষমা সুন্দর দৃষ্টিতে দেখবেন ।আর্টিকেলটি ভালো লাগলে অবশ্যই কমেন্টে আপনার মতামত জানাবেন। আপনাদের মূল্যবান মতামত আমাদের আরো ভালো আর্টিকেল লিখতে অনুপ্রাণিত করবে ।সবশেষে সকলের সুস্বাস্থ্য কামনা করে এখানেই শেষ করছি। আল্লাহ হাফেজ।