HDFS உயர் கிடைக்கும் தன்மையுடன் ஹடூப் கிளஸ்டரை எவ்வாறு அமைப்பது

இந்த வலைப்பதிவு எச்டிஎஃப்எஸ் உயர் கிடைக்கும் கட்டமைப்பைப் பற்றிய கண்ணோட்டத்தையும், எளிய படிகளில் எச்டிஎஃப்எஸ் உயர் கிடைக்கும் கிளஸ்டரை எவ்வாறு அமைப்பது மற்றும் கட்டமைப்பது என்பதையும் வழங்குகிறது.

HDFS 2.x உயர் கிடைக்கும் கிளஸ்டர் கட்டமைப்பு

இந்த வலைப்பதிவில், நான் HDFS 2.x உயர் கிடைக்கும் கிளஸ்டர் கட்டமைப்பு மற்றும் ஒரு HDFS உயர் கிடைக்கும் கிளஸ்டரை அமைப்பதற்கான நடைமுறை பற்றி பேசப்போகிறேன்.இது ஒரு முக்கியமான பகுதியாகும் . இந்த வலைப்பதிவில் தலைப்புகள் உள்ளடக்கப்பட்ட வரிசை பின்வருமாறு:



  • HDFS HA ​​கட்டமைப்பு
    • அறிமுகம்
    • பெயர்நொட் கிடைக்கும்
    • HA இன் கட்டிடக்கலை
    • HA (ஜர்னல்நோட் மற்றும் பகிரப்பட்ட சேமிப்பு) செயல்படுத்தல்
  • ஹடூப் கிளஸ்டரில் எச்.ஏ (கோரம் ஜர்னல் நோட்ஸ்) அமைப்பது எப்படி?

அறிமுகம்:

உயர் கிடைக்கும் கிளஸ்டர் என்ற கருத்து ஹடூப் 2 இல் அறிமுகப்படுத்தப்பட்டது.x ஹடூப் 1.x இல் தோல்வி சிக்கலின் ஒற்றை புள்ளியை தீர்க்க. என் முந்தைய வலைப்பதிவில் இருந்து உங்களுக்குத் தெரியும் மாஸ்டர் / ஸ்லேவ் டோபாலஜியைப் பின்தொடர்கிறது, அங்கு நேம்நோட் ஒரு மாஸ்டர் டீமனாக செயல்படுகிறது மற்றும் டேட்டாநோட்ஸ் எனப்படும் பிற அடிமை முனைகளை நிர்வகிக்கும் பொறுப்பாகும். இந்த ஒற்றை மாஸ்டர் டீமான் அல்லது நேம்நோட் ஒரு சிக்கலாக மாறும். இருப்பினும், இரண்டாம் நிலை நேம்நோட் அறிமுகமானது தரவு இழப்பிலிருந்து மற்றும் நேம்நோட்டின் சில சுமைகளை ஏற்றுவதிலிருந்து தடுக்கிறது, ஆனால், இது நேம்நோட்டின் கிடைக்கும் சிக்கலை தீர்க்கவில்லை.



பெயர்நொட் கிடைக்கும்:

HDFS கிளஸ்டரின் நிலையான உள்ளமைவை நீங்கள் கருத்தில் கொண்டால், நேம்நோட் a தோல்வியின் ஒற்றை புள்ளி . நேம்நோட் கிடைக்காத தருணம், யாரோ பெயர்நெட்டை மறுதொடக்கம் செய்யும் வரை அல்லது புதிய ஒன்றைக் கொண்டுவரும் வரை முழு கிளஸ்டரும் கிடைக்காது என்பதால் இது நிகழ்கிறது.

நேம்நோட் கிடைக்காததற்கான காரணங்கள் பின்வருமாறு:



  • பராமரிப்பு வேலை போன்ற ஒரு திட்டமிடப்பட்ட நிகழ்வு மென்பொருள் அல்லது வன்பொருளை மேம்படுத்துகிறது.
  • இது திட்டமிடப்படாத நிகழ்வின் காரணமாக இருக்கலாம், சில காரணங்களால் நேம்நோட் செயலிழக்கிறது.

மேலே உள்ள இரண்டு நிகழ்வுகளிலும், எச்டிஎஃப்எஸ் கிளஸ்டரைப் பயன்படுத்த முடியாத ஒரு வேலையில்லா நேரம் எங்களுக்கு உள்ளது, இது ஒரு சவாலாக மாறும்.

HDFS HA ​​கட்டமைப்பு:

நேம்நோட் கிடைக்கும் இந்த சிக்கலான சிக்கலை HDFS HA ​​கட்டமைப்பு எவ்வாறு தீர்த்தது என்பதை புரிந்துகொள்வோம்:

செயலில் / செயலற்ற உள்ளமைவில் இரண்டு பெயர்நெட்களை வைத்திருக்க அனுமதிப்பதன் மூலம் பெயர் கட்டமைப்பு கிடைக்கும் இந்த சிக்கலை HA கட்டமைப்பு தீர்த்தது. எனவே, உயர் கிடைக்கும் கிளஸ்டரில் ஒரே நேரத்தில் இரண்டு இயங்கும் நேம்நோட்கள் உள்ளன:



  • செயலில் பெயர்நொட்
  • காத்திருப்பு / செயலற்ற பெயர்நொட்.

HDFS HA ​​கட்டமைப்பு - உயர் கிடைக்கும் கிளஸ்டர் - எடுரேகா

ஒரு நேம்நோட் கீழே சென்றால், மற்ற பெயர்நொட் பொறுப்பை ஏற்க முடியும், எனவே, கொத்து நேரத்தை குறைக்கலாம். காத்திருப்பு பெயர்நொட் ஒரு காப்புப்பிரதி நேம்நோட் (இரண்டாம்நிலை பெயர்நொடை போலல்லாமல்) இன் நோக்கத்திற்கு உதவுகிறது, இது ஹடூப் கிளஸ்டரில் தோல்வி திறன்களை ஒருங்கிணைக்கிறது. ஆகையால், ஸ்டாண்ட்பைனோட் மூலம், ஒரு நேம்நோட் செயலிழக்கும்போதெல்லாம் (திட்டமிடப்படாத நிகழ்வு) தானியங்கி செயலிழப்பைக் கொண்டிருக்கலாம் அல்லது பராமரிப்பு காலத்தில் ஒரு அழகான (கைமுறையாக தொடங்கப்பட்ட) தோல்வியைக் கொண்டிருக்கலாம்.

HDFS உயர் கிடைக்கும் கிளஸ்டரில் நிலைத்தன்மையை பராமரிப்பதில் இரண்டு சிக்கல்கள் உள்ளன:

  • செயலில் மற்றும் காத்திருப்பு பெயர்நொட் எப்போதும் ஒருவருக்கொருவர் ஒத்திசைவாக இருக்க வேண்டும், அதாவது அவை ஒரே மெட்டாடேட்டாவைக் கொண்டிருக்க வேண்டும். இது ஹடூப் கிளஸ்டரை செயலிழந்த அதே பெயர்வெளி நிலைக்கு மீட்டமைக்க எங்களை அனுமதிக்கும், எனவே, விரைவான தோல்வி அடைவதற்கு இது எங்களுக்கு உதவும்.
  • ஒரே நேரத்தில் ஒரு செயலில் உள்ள பெயர்நொட் மட்டுமே இருக்க வேண்டும், ஏனெனில் இரண்டு செயலில் உள்ள நேம்நோட் தரவின் ஊழலுக்கு வழிவகுக்கும். இந்த வகையான காட்சி ஒரு பிளவு-மூளை காட்சி என்று அழைக்கப்படுகிறது, அங்கு ஒரு கொத்து சிறிய கிளஸ்டராக பிரிக்கப்படுகிறது, ஒவ்வொன்றும் இது ஒரே செயலில் உள்ள கொத்து என்று நம்புகிறது. இத்தகைய காட்சிகளைத் தவிர்ப்பதற்கு ஃபென்சிங் செய்யப்படுகிறது. ஃபென்சிங் என்பது ஒரு குறிப்பிட்ட நேரத்தில் ஒரு நேம்நோட் மட்டுமே செயலில் இருப்பதை உறுதி செய்யும் செயல்முறையாகும்.

HA கட்டிடக்கலை செயல்படுத்தல்:

இப்போது, ​​HDFS HA ​​கட்டமைப்பில், ஒரே நேரத்தில் இரண்டு நேம்நோட்கள் இயங்குகின்றன என்பது உங்களுக்குத் தெரியும். எனவே, பின்வரும் இரண்டு வழிகளில் செயலில் மற்றும் காத்திருப்பு பெயர்நொட் உள்ளமைவை செயல்படுத்தலாம்:

  1. கோரம் ஜர்னல் முனைகளைப் பயன்படுத்துதல்
  2. NFS ஐப் பயன்படுத்தி பகிரப்பட்ட சேமிப்பிடம்

செயல்படுத்தும் இந்த இரண்டு வழிகளையும் ஒரு நேரத்தில் எடுத்துக்கொள்வோம்:

1. கோரம் ஜர்னல் முனைகளைப் பயன்படுத்துதல்:

  • காத்திருப்பு நேம்நோட் மற்றும் செயலில் உள்ள நேம்நோட் ஆகியவை தனித்தனி கணுக்கள் அல்லது டீமன்களின் மூலம் ஒன்றுடன் ஒன்று ஒத்திசைகின்றன. ஜர்னல்நோட்ஸ் .ஜர்னல்நோட்ஸ் ரிங் டோபாலஜியைப் பின்பற்றுகிறது, அங்கு முனைகள் ஒருவருக்கொருவர் இணைக்கப்பட்டு ஒரு வளையத்தை உருவாக்குகின்றன.ஜர்னல்நோட் அதற்கு வரும் கோரிக்கையை வழங்குகிறது மற்றும் தகவலை வளையத்தில் உள்ள மற்ற முனைகளில் நகலெடுக்கிறது.ஜர்னல்நோட் தோல்வியுற்றால் இது தவறு சகிப்புத்தன்மையை வழங்குகிறது.
  • ஜர்னல்நோட்களில் உள்ள எடிட்லாக்ஸை (மெட்டாடேட்டா தகவல்) புதுப்பிக்க செயலில் உள்ள நேம்நோட் பொறுப்பு.
  • ஸ்டாண்ட்பைநோட் ஜர்னல்நோடில் உள்ள எடிட்லாக்ஸில் செய்யப்பட்ட மாற்றங்களைப் படித்து, அதன் சொந்த பெயர்வெளியில் நிலையான முறையில் அதைப் பயன்படுத்துகிறது.
  • தோல்வியின் போது, ​​புதிய செயலில் உள்ள பெயர்நெடாக மாறுவதற்கு முன்பு ஜர்னல்நோட்களிலிருந்து அதன் மெட்டா தரவு தகவல்களை புதுப்பித்திருப்பதை ஸ்டாண்ட்பைனோட் உறுதி செய்கிறது. இது தற்போதைய பெயர்வெளி நிலை தோல்விக்கு முன் மாநிலத்துடன் ஒத்திசைக்கப்படுகிறது.
  • இரண்டு நேம்நோட்களின் ஐபி முகவரிகள் எல்லா டேட்டா நோட்களுக்கும் கிடைக்கின்றன, மேலும் அவை இதயத் துடிப்புகளை அனுப்புகின்றன மற்றும் இருப்பிடத் தகவல்களை நேம்நோட் இரண்டிற்கும் தடுக்கின்றன. கிளஸ்டரில் உள்ள தொகுதி இருப்பிடம் குறித்த புதுப்பிக்கப்பட்ட தகவலை ஸ்டாண்ட்பைனோட் கொண்டிருப்பதால் இது விரைவான தோல்வி (குறைவான நேரம்) வழங்குகிறது.

நேம்நோட்டின் ஃபென்சிங்:

இப்போது, ​​முன்பு விவாதித்தபடி, ஒரு நேரத்தில் ஒரே ஒரு செயலில் பெயர்நெட் மட்டுமே இருப்பதை உறுதி செய்வது மிகவும் முக்கியம். எனவே, ஃபென்சிங் என்பது ஒரு கிளஸ்டரில் இந்த சொத்தை உறுதி செய்வதற்கான ஒரு செயல்முறையாகும்.

  • ஜர்னல்நோட்ஸ் ஒரு வேளை ஒரே ஒரு பெயர்நெட்டை மட்டுமே எழுத்தாளராக அனுமதிப்பதன் மூலம் இந்த ஃபென்சிங்கை செய்கிறது.
  • ஸ்டாண்ட்பை நேம்நோட் ஜர்னல்நோட்களுக்கு எழுதும் பொறுப்பை ஏற்றுக்கொள்கிறது மற்றும் வேறு எந்த நேம்நோடும் செயலில் இருக்க தடை விதிக்கிறது.
  • இறுதியாக, புதிய ஆக்டிவ் நேம்நோட் அதன் செயல்பாடுகளை பாதுகாப்பாக செய்ய முடியும்.

2. பகிரப்பட்ட சேமிப்பிடத்தைப் பயன்படுத்துதல்:

  • ஸ்டாண்ட்பைனோட் மற்றும் செயலில் உள்ள நேம்நோட் ஆகியவற்றைப் பயன்படுத்தி ஒருவருக்கொருவர் ஒத்திசைவாக இருக்கும் பகிரப்பட்ட சேமிப்பக சாதனம் .செயலில் உள்ள நேம்நோட் அதன் பெயர்வெளியில் செய்யப்பட்ட எந்த மாற்றத்தின் பதிவையும் இந்த பகிரப்பட்ட சேமிப்பகத்தில் உள்ள ஒரு எடிட்லாக் பதிவு செய்கிறது.இந்த பகிரப்பட்ட சேமிப்பகத்தில் எடிட்லாக்ஸில் செய்யப்பட்ட மாற்றங்களை ஸ்டாண்ட்பைனோட் படித்து அதன் சொந்த பெயர்வெளியில் பயன்படுத்துகிறது.
  • இப்போது, ​​தோல்வியுற்றால், முதலில் பகிரப்பட்ட சேமிப்பகத்தில் எடிட்லாக்ஸைப் பயன்படுத்தி ஸ்டாண்ட்பைனோட் அதன் மெட்டாடேட்டா தகவலைப் புதுப்பிக்கிறது. பின்னர், இது செயலில் உள்ள பெயர்நோட்டின் பொறுப்பை ஏற்றுக்கொள்கிறது. இது தற்போதைய பெயர்வெளி நிலை தோல்விக்கு முன் மாநிலத்துடன் ஒத்திசைக்கப்படுகிறது.
  • பிளவு-மூளை காட்சியைத் தவிர்க்க நிர்வாகி குறைந்தது ஒரு ஃபென்சிங் முறையாவது கட்டமைக்க வேண்டும்.
  • கணினி பலவிதமான ஃபென்சிங் வழிமுறைகளைப் பயன்படுத்தலாம். இது பெயர்நொட்டின் செயல்முறையைக் கொல்வது மற்றும் பகிரப்பட்ட சேமிப்பக கோப்பகத்திற்கான அணுகலைத் திரும்பப் பெறுவது ஆகியவை அடங்கும்.
  • கடைசி முயற்சியாக, முன்பு செயல்பட்ட பெயர்நொட்டை STONITH எனப்படும் நுட்பத்துடன் வேலி அமைக்கலாம் அல்லது “மற்ற முனையை தலையில் சுடலாம்”. பெயர்நொட் இயந்திரத்தை வலுக்கட்டாயமாக ஆற்றுவதற்கு STONITH ஒரு சிறப்பு மின் விநியோக அலகு பயன்படுத்துகிறது.

தானியங்கி தோல்வி:

ஃபெயில்ஓவர் என்பது ஒரு தவறு அல்லது தோல்வியைக் கண்டறிந்தால் ஒரு கணினி தானாகவே கட்டுப்பாட்டை இரண்டாம் நிலை அமைப்புக்கு மாற்றும் ஒரு செயல்முறையாகும். தோல்வி இரண்டு வகைகள் உள்ளன:

அழகான தோல்வி: இந்த வழக்கில், வழக்கமான பராமரிப்பிற்கான தோல்வியை கைமுறையாகத் தொடங்குகிறோம்.

தானியங்கி தோல்வி: இந்த வழக்கில், நேம்நோட் தோல்வி ஏற்பட்டால் (திட்டமிடப்படாத நிகழ்வு) தோல்வி தானாகவே தொடங்கப்படும்.

அப்பாச்சி ஜூக்கீப்பர் என்பது எச்டிஎஃப்எஸ் ஹை அவிலபிலிட்டி கிளஸ்டரில் தானியங்கி செயலிழப்பு திறனை வழங்கும் ஒரு சேவையாகும். இது சிறிய அளவிலான ஒருங்கிணைப்புத் தரவைப் பராமரிக்கிறது, அந்தத் தரவின் மாற்றங்களை வாடிக்கையாளர்களுக்குத் தெரிவிக்கிறது மற்றும் தோல்விகளை வாடிக்கையாளர்களைக் கண்காணிக்கிறது. மிருகக்காட்சிசாலை பெயர்நெட்களுடன் ஒரு அமர்வை பராமரிக்கிறது. தோல்வி ஏற்பட்டால், அமர்வு காலாவதியாகிவிடும், மேலும் தோல்வியுற்ற செயல்முறையைத் தொடங்க பிற பெயர்நெட்களை ஜூக்கீப்பர் தெரிவிப்பார். நேம்நோட் தோல்வியுற்றால், பிற செயலற்ற நேம்நோட் அடுத்த செயலில் உள்ள நேம்நோட் ஆக விரும்புகிறது என்று கூறி ஜூக்கீப்பரில் ஒரு பூட்டை எடுக்கலாம்.

ZookeerFailoverController (ZKFC) என்பது ஒரு Zookeeper கிளையன்ட் ஆகும், இது நேம்நோட் நிலையை கண்காணித்து நிர்வகிக்கிறது. பெயர்நொட் ஒவ்வொன்றும் ஒரு ZKFC ஐ இயக்குகிறது. பெயர்நெட்களின் ஆரோக்கியத்தை அவ்வப்போது கண்காணிக்க ZKFC பொறுப்பு.

ஹடூப் கிளஸ்டரில் உயர் கிடைக்கும் தன்மை என்ன என்பதை இப்போது நீங்கள் புரிந்துகொண்டுள்ளீர்கள், அதை அமைக்க வேண்டிய நேரம் இது. ஹடூப் கிளஸ்டரில் உயர் கிடைக்கும் தன்மையை அமைக்க நீங்கள் அனைத்து முனைகளிலும் ஜூக்கீப்பரைப் பயன்படுத்த வேண்டும்.

செயலில் உள்ள பெயர்நெடில் உள்ள டீமன்கள்:

  • உயிரியல் பூங்கா
  • Zookeeper தோல்வி கட்டுப்படுத்தி
  • ஜர்னல்நோட்
  • பெயர்நொட்

காத்திருப்பு பெயர்நொட்டில் உள்ள டீமன்கள்:

  • உயிரியல் பூங்கா
  • Zookeeper தோல்வி கட்டுப்படுத்தி
  • ஜர்னல்நோட்
  • பெயர்நொட்

டேட்டாநோடில் உள்ள டீமன்கள்:

  • உயிரியல் பூங்கா
  • ஜர்னல்நோட்
  • டேட்டாநோட்

நீங்கள் எச்.டி.எஃப்.எஸ் மற்றும் ஹடூப்பை மாஸ்டர் செய்ய விரும்பினால், எடுரேகாவின் சிறப்பாக வடிவமைக்கப்பட்ட பிக் டேட்டா மற்றும் ஹடூப் படிப்பைப் பாருங்கள். தொடங்குவதற்கு கீழே உள்ள பொத்தானைக் கிளிக் செய்க.

ஹடூப்பில் உயர் கிடைக்கும் கிளஸ்டரை அமைத்தல் மற்றும் கட்டமைத்தல்:

நீங்கள் முதலில் ஒவ்வொரு முனையின் ஜாவா மற்றும் ஹோஸ்ட் பெயர்களை அமைக்க வேண்டும்.

மெய்நிகர் இயந்திரம் ஐபி முகவரி புரவலன் பெயர்
செயலில் பெயர்நொட்192.168.1.81nn1.cluster.com அல்லது nn1
காத்திருப்பு பெயர்நொட்192.168.1.58nn2.cluster.com அல்லது nn2
டேட்டாநோட்192.168.1.82dn1.cluster.com அல்லது dn1

ஹடூப் மற்றும் ஜூக்கீப்பர் பைனரி தார் கோப்பைப் பதிவிறக்கவும், உள்ளமைவு கோப்புகளைத் திருத்த கோப்புகளைப் பிரித்தெடுக்கவும்.

கட்டளை: wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

Zookeeper-3.4.6.tar.gz ஐப் பரப்புங்கள்

கட்டளை : tar –xvf zookeeper-3.4.6.tar.gz

அப்பாச்சி ஹடூப் தளத்திலிருந்து நிலையான ஹடூப் பைனரி தார் பதிவிறக்கவும்.

கட்டளை : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

ஹடூப் தார் பந்தை பிரித்தெடுக்கவும்.

கட்டளை : tar –xvf hadoop-2.6.0.tar.gz

ஹடூப் பைனரி பரவியது.

.Bashrc கோப்பில் ஹடூப், ஜூக்கீப்பர் மற்றும் பாதைகளைச் சேர்க்கவும்.

.Bashrc கோப்பைத் திறக்கவும்.

கட்டளை : sudo gedit ~ / .bashrc

கீழே உள்ள பாதைகளைச் சேர்க்கவும்:

ஏற்றுமதி HADOOP_HOME = ஏற்றுமதி HADOOP_MAPRED_HOME = $ HADOOP_HOME ஏற்றுமதி HADOOP_COMMON_HOME = $ HADOOP_HOME ஏற்றுமதி HADOOP_HDFS_HOME = $ HADOOP_HOME ஏற்றுமதி YARN_HOME = $ HADOOP_HOME ஏற்றுமதி HADOOP_CONF_DIR = $ HADOOP_HOME / போன்றவை / Hadoop ஏற்றுமதி YARN_CONF_DIR = $ HADOOP_HOME / போன்றவை / Hadoop ஏற்றுமதி JAVA_HOME = ஏற்றுமதி ZOOKEEPER_HOME = ஏற்றுமதி PATH இன் = $ பாதை: $ JAVA_HOME / பின்: $ HADOOP_HOME / பின்: $ HADOOP_HOME / sbin: $ ZOOKEEPER_HOME / பின்

.Bashrc கோப்பைத் திருத்தவும்.

அனைத்து முனைகளிலும் SSH ஐ இயக்கவும்.

அனைத்து முனைகளிலும் SSH விசையை உருவாக்கவும்.

கட்டளை : ssh-keygen –t rsa (அனைத்து முனைகளிலும் இந்த படி)

அனைத்து முனைகளிலும் SSH விசையை அமைக்கவும்.

விசையைச் சேமிக்க Enter கோப்பிற்கு எந்த பாதையையும் கொடுக்க வேண்டாம், எந்த கடவுச்சொற்றையும் கொடுக்க வேண்டாம். Enter பொத்தானை அழுத்தவும்.

அனைத்து முனைகளிலும் ssh விசை செயல்முறையை உருவாக்கவும்.

Ssh விசை உருவாக்கப்பட்டதும், நீங்கள் பொது விசை மற்றும் தனிப்பட்ட விசையைப் பெறுவீர்கள்.

.Sh விசை கோப்பகத்தில் அனுமதி 700 மற்றும் .ssh கோப்பகத்திற்குள் உள்ள அனைத்து விசைகளும் அனுமதிகள் 600 ஐ கொண்டிருக்க வேண்டும்.

SSH அடைவு அனுமதியை மாற்றவும்.

கோப்பகத்தை .ssh ஆக மாற்றவும், கோப்புகளின் அனுமதியை 600 ஆக மாற்றவும்

பொது மற்றும் தனிப்பட்ட விசை அனுமதியை மாற்றவும்.

நீங்கள் அனைத்து முனைகளுக்கும் பெயர் முனைகளை ssh பொது விசையை நகலெடுக்க வேண்டும்.

செயலில் பெயர்நெட்டில், பூனை கட்டளையைப் பயன்படுத்தி id_rsa.pub ஐ நகலெடுக்கவும்.

கட்டளை : பூனை ~ / .ssh / id_rsa.pub >> ~ / .ssh / அங்கீகரிக்கப்பட்ட_கீக்கள்

அங்கீகரிக்கப்பட்ட விசைகளுக்கு Namenode ssh விசையை நகலெடுக்கவும்.

பயன்படுத்தி அனைத்து முனைகளுக்கும் நேம்நோட் பொது விசையை நகலெடுக்கவும் ssh-copy-id கட்டளை.

கட்டளை : ssh-copy-id –i .ssh / id_rsa.pub edureka@nn2.cluster.com

நோக்கம் விசையை காத்திருப்பு பெயர்நொட்டிற்கு நகலெடுக்கவும்.

பெயர் முனைக்கு பெயர்நொட் பொது விசையை நகலெடுக்கவும்.

கட்டளை : ssh-copy-id –i .ssh / id_rsa.pub edureka@dn1.cluster.com

தரவு முனைக்கு நேமனோட் பொது விசையை நகலெடுக்கவும்.

எல்லா முனைகளிலும் sshd சேவையை மறுதொடக்கம் செய்யுங்கள்.

கட்டளை : sudo service sshd மறுதொடக்கம் (எல்லா முனைகளிலும் செய்யுங்கள்)

SSH சேவையை மறுதொடக்கம் செய்யுங்கள்.

இப்போது நீங்கள் எந்த அங்கீகாரமும் இல்லாமல் பெயர் முனையிலிருந்து எந்த முனையிலும் உள்நுழையலாம்.

செயலில் உள்ள பெயர் முனையிலிருந்து core-site.xml கோப்பைத் திறந்து கீழேயுள்ள பண்புகளைச் சேர்க்கவும்.

செயலில் உள்ள பெயரிலிருந்து கோர்-சைட்.எக்ஸ்.எம்.எல்

செயலில் பெயர்நெட்டில் hdfs-site.xml கோப்பைத் திறக்கவும். கீழே உள்ள பண்புகளைச் சேர்க்கவும்.

dfs.namenode.name.dir / home / edureka / HA / data / namenode dfs.replication 1 dfs.permissions false dfs.nameservices ha-cluster dfs.ha.namenodes.ha-cluster nn1, nn2 dfs.namenode.rpc- முகவரி .ha-cluster.nn1 nn1.cluster.com:9000 dfs.namenode.rpc-address.ha-cluster.nn2 nn2.cluster.com:9000 dfs.namenode.http-address.ha-cluster.nn1 nn1.cluster. com: 50070 dfs.namenode.http-address.ha-cluster.nn2 nn2.cluster.com:50070 dfs.namenode.shared.edits.dir qjournal: //nn1.cluster.com: 8485nn2.cluster.com: 8485dn1. க்ளஸ்டர்.காம். .quorum nn1.cluster.com:2181,nn2.cluster.com:2181,dn1.cluster.com:2181 dfs.ha.fening.methods sshfence dfs.ha.fening.ssh.private-key-files / home / edureka /.ssh/id_rsa

கோப்பகத்தை zookeeper’s conf அடைவுக்கு மாற்றவும்.

கட்டளை : cd zookeeper-3.4.6 / conf

Zookeeper Conf அடைவு.

உங்களிடம் zoo_sample.cfg கோப்பு உள்ள ஒரு conf கோப்பகத்தில், zoo_sample.cfg கோப்பைப் பயன்படுத்தி zoo.cfg ஐ உருவாக்கவும்.

கட்டளை : cp zoo_sample.cfg zoo.cfg

Zoo.cfg கோப்பை உருவாக்கவும்.

எந்த இடத்திலும் கோப்பகத்தை உருவாக்கி, இந்த கோப்பகத்தைப் பயன்படுத்தி விலங்கியல் தரவை சேமிக்கவும்.

கட்டளை : mkdir

விலங்கியல் தரவைச் சேமிக்க ஒரு கோப்பகத்தை உருவாக்கவும்.

Zoo.cfg கோப்பைத் திறக்கவும்.

கட்டளை : gedit zoo.cfg

மேலேயுள்ள கட்டத்தில் உருவாக்கப்பட்ட அடைவு பாதையை டேட்டா டிர் சொத்துக்குச் சேர்த்து, மீதமுள்ள முனை தொடர்பான விவரங்களை zoo.cfg கோப்பில் சேர்க்கவும்.

சேவையகம் 1 = nn1.cluster.com: 2888: 3888

சேவையகம் .2 = nn2.cluster.com: 2888: 3888

சேவையகம் 3 = dn1.cluster.com: 2888: 3888

Zoo.cfg கோப்பைத் திருத்தவும்.

இப்போது ஜாவா மற்றும் ஹடூப் -2.6.0, ஜூக்கீப்பர் -3.4.6 கோப்பகங்கள் மற்றும் .bashrc கோப்பை scp கட்டளையைப் பயன்படுத்தி அனைத்து முனைகளுக்கும் (காத்திருப்பு பெயர் முனை, தரவு முனை) நகலெடுக்கவும்.

கட்டளை : scp –r edureka @:

ஹடூப், ஜூக்கீப்பர் மற்றும் .bashrc கோப்பை எல்லா முனைகளுக்கும் நகலெடுக்கவும்.

இதேபோல், .bashrc கோப்பு மற்றும் ஜூக்கீப்பர் கோப்பகத்தை அனைத்து முனைகளுக்கும் நகலெடுத்து ஒவ்வொன்றிலும் சுற்றுச்சூழல் மாறிகள் அந்தந்த முனைக்கு ஏற்ப மாற்றவும்.

தரவு முனையில், நீங்கள் HDFS தொகுதிகளை சேமிக்க வேண்டிய எந்த கோப்பகத்தையும் உருவாக்கவும்.

தரவு முனையில், நீங்கள் dfs.datanode.data.dir பண்புகளைச் சேர்க்க வேண்டும்.

என் விஷயத்தில், நான் உருவாக்கியுள்ளேன் டேடனோட் தொகுதிகள் சேமிக்க அடைவு.

டேட்டானோட் கோப்பகத்தை உருவாக்கவும்.

தரவு முனை கோப்பகத்திற்கு அனுமதியை மாற்றவும்.

டேட்டானோட் அடைவு அனுமதியை மாற்றவும்.

HDFS-site.xml கோப்பைத் திறந்து, இந்த தரவுத்தள அடைவு பாதையை dfs.datanode.data.dir சொத்தில் சேர்க்கவும்.

குறிப்பு: செயலில் உள்ள பெயரிலிருந்து நகலெடுக்கப்பட்ட அனைத்து பண்புகளையும் dfs.datanode.data.dir ஐச் சேர்க்கவும்.

dfs.datanode.data.dir / home / edureka / HA / data / datanode

செயலில் உள்ள பெயர் குறியீட்டில், நீங்கள் உயிரியல் பூங்கா உள்ளமைவு கோப்பை (டேட்டா டிர் சொத்து பாதை) சேமிக்க விரும்பும் கோப்பகத்தை மாற்றவும்.

கோப்பகத்தின் உள்ளே myid கோப்பை உருவாக்கி, கோப்பில் எண் 1 ஐ சேர்த்து கோப்பை சேமிக்கவும்.

கட்டளை : vi myid

மைட் கோப்பை உருவாக்கவும்.

காத்திருப்பு பெயர் குறியீட்டில் நீங்கள் மிருகக்காட்சிசாலையின் உள்ளமைவு கோப்பை (டேட்டாடிர் சொத்து பாதை) சேமிக்க விரும்பும் கோப்பகத்தை மாற்றவும்.

கோப்பகத்தின் உள்ளே myid கோப்பை உருவாக்கி, கோப்பில் எண் 2 ஐ சேர்த்து கோப்பை சேமிக்கவும்.

தரவு முனையில், நீங்கள் உயிரியல் பூங்கா உள்ளமைவு கோப்பை (டேட்டாடிர் சொத்து பாதை) சேமிக்க விரும்பும் கோப்பகத்தை மாற்றவும்.

கோப்பகத்தின் உள்ளே myid கோப்பை உருவாக்கி, கோப்பில் எண் 3 ஐ சேர்த்து கோப்பை சேமிக்கவும்.

மூன்று முனைகளிலும் ஜர்னல்நோட்டைத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க பத்திரிகை

ஜர்னல்நோட்டைத் தொடங்கவும்.

நீங்கள் jps கட்டளையை உள்ளிடும்போது, ​​எல்லா முனைகளிலும் ஜர்னல்நோட் டீமனைக் காண்பீர்கள்.

வடிவமைக்கசெயலில் நோக்கம்.

கட்டளை : எச்.டி.எஃப்.எஸ் நோக்கம்-வடிவம்

செயலில் நேம்நோட் வடிவம்.

நேமனோட் டீமான் மற்றும் ஆக்டிவ் நேமடோடைத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க நோக்கம்

பெயர் குறியீட்டைத் தொடங்குங்கள்.

HDFS மெட்டா தரவை செயலில் உள்ள பெயர் முனையிலிருந்து காத்திருப்பு பெயர் முனைக்கு நகலெடுக்கவும்.

கட்டளை : HDFS நோக்கம் -bootstrapStandby

எச்.டி.எஃப்.எஸ் மெட்டா தரவை செயலில் உள்ள பெயர் முனையிலிருந்து காத்திருப்பு பெயர் முனைக்கு நகலெடுக்கவும்.

இந்த கட்டளையை நீங்கள் இயக்கியதும், மெட்டா தரவு எந்த முனை மற்றும் இடத்திலிருந்து நகலெடுக்கிறது மற்றும் அது வெற்றிகரமாக நகலெடுக்கிறதா இல்லையா என்ற தகவலைப் பெறுவீர்கள்.

செயலில் உள்ள நோக்கம் விவரங்களின் தகவல்.

மெட்டா தரவு செயலில் உள்ள நேமனோடிலிருந்து காத்திருப்பு நேமனோடிற்கு நகலெடுக்கப்பட்டதும், கீழே காட்டப்பட்டுள்ள செய்தியை ஸ்கிரீன்ஷாட்டில் பெறுவீர்கள்.

காத்திருப்பு பெயர் முனையில் HDFS தொடர்பான தகவல்கள்.

காத்திருப்பு நேமனோட் இயந்திரத்தில் நேமனோட் டீமானைத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க நோக்கம்

இப்போது மூன்று முனைகளிலும் Zookeeper சேவையைத் தொடங்கவும்.

கட்டளை : zkServer.sh start (இந்த கட்டளையை அனைத்து முனைகளிலும் இயக்கவும்)

செயலில் உள்ள நோக்கத்தில்:

செயலில் உள்ள பெயர் முனையில் உயிரியல் பூங்காவைத் தொடங்கவும்.

காத்திருப்பு பெயர் குறிப்பில்:

காத்திருப்பு பெயர்நொட்டில் ஜூக்கீப்பரைத் தொடங்கவும்.

தரவு முனையில்:

டேட்டாநோட்டில் மிருகக்காட்சிசாலையைத் தொடங்கவும்.

Zookeeper சேவையகத்தை இயக்கிய பிறகு, JPS கட்டளையை உள்ளிடவும். எல்லா முனைகளிலும் நீங்கள் QuorumPeerMain சேவையைப் பார்ப்பீர்கள்.

டேட்டா நோட் மெஷினில் டேட்டா நோட் டீமானைத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க டேட்டானோட்

செயலில் பெயர் முனை மற்றும் காத்திருப்பு பெயர் முனை ஆகியவற்றில் கட்டுப்படுத்தி மீது ஜூக்கீப்பர் தோல்வி தொடங்கவும்.

ஆக்டிவ் நேமனோடில் கட்டுப்படுத்தி மீது மிருகக்காட்சிசாலையின் தோல்வி வடிவமைக்கவும்.

கட்டளை: HDFS zkfc –formatZK

வடிவமைத்தல் ZKFC.

செயலில் பெயரிடப்பட்ட குறியீட்டில் ZKFC ஐத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க zkfc

DFSZkFailoverController டீமன்களை சரிபார்க்க jps கட்டளையை உள்ளிடவும்.

ZKFC ஐத் தொடங்குங்கள்.

காத்திருப்பு நேமனோடில் கட்டுப்படுத்தி மீது மிருகக்காட்சிசாலையின் தோல்வி வடிவமைக்கவும்.

கட்டளை : hdfs zkfc –formatZK

காத்திருப்பு பெயர் முனையில் ZKFC ஐத் தொடங்கவும்.

கட்டளை : hadoop-daemon.sh தொடக்க zkfc

DFSZkFailoverController டீமன்களை சரிபார்க்க jps கட்டளையை உள்ளிடவும்.

கீழேயுள்ள கட்டளையைப் பயன்படுத்தி ஒவ்வொரு பெயர் குறியீட்டின் நிலையை சரிபார்க்கவும், எந்த முனை செயலில் உள்ளது அல்லது காத்திருப்பு எந்த முனை உள்ளது.

கட்டளை : hdfs haadmin –getServiceState nn1

ஒவ்வொரு நேம்நோட்டின் நிலையையும் சரிபார்க்கவும்.

இப்போது வலை உலாவியைப் பயன்படுத்தி ஒவ்வொரு பெயரிலும் உள்ள நிலையை சரிபார்க்கவும்.

வலை உலாவியைத் திறந்து கீழே உள்ள URL ஐ உள்ளிடவும்.

: 50070

பெயர் முனை செயலில் உள்ளதா அல்லது காத்திருப்பு உள்ளதா என்பதை இது காண்பிக்கும்.

செயலில் பெயர்நொட்.

இணைய உலாவியைப் பயன்படுத்தி மற்றொரு பெயர் முனை விவரங்களைத் திறக்கவும்.

காத்திருப்பு பெயர்நொட்.

செயலில் உள்ள நேமனோடில், காத்திருப்பு பெயர் முனையை செயலில் உள்ள பெயர் முனையாக மாற்ற, பெயர் குறியீட்டு டீமனைக் கொல்லுங்கள்.

ஆக்டிவ் நேமனோடில் jps ஐ உள்ளிட்டு டீமனைக் கொல்லுங்கள்.

கட்டளை: sudo kill -9

டீமன்ஸ் செயல்முறை ஐடி.

நேமனோட் செயல்முறை ஐடி 7606, பெயர் குறியீட்டைக் கொல்லுங்கள்.

கட்டளை : சூடோ கொலை -9 7606

ஜாவாவில் தேதி மாற்றத்திற்கான சரம்

பெயர் முனை செயல்முறையை கொல்லுங்கள்

வலை உலாவி மூலம் இரண்டு முனைகளையும் திறந்து நிலையை சரிபார்க்கவும்.

பெயர் விவரங்கள்.

பெயர்நொட் நிலை.

வாழ்த்துக்கள், நீங்கள் ஹடூப்பில் ஒரு HDFS உயர் கிடைக்கும் கிளஸ்டரை வெற்றிகரமாக அமைத்துள்ளீர்கள்.

இப்போது நீங்கள் ஹடூப் உயர் கிடைக்கும் கிளஸ்டர் கட்டமைப்பைப் புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.

window._LQ_ = window._LQ_ || {}

lqQuizModal (சாளரம், ஆவணம், {quizId: ’XAIVp8 ′, baseUrl:’ https: //quiz.leadquizzes.com/’,trigger: ’exit’}, _LQ_)