Wget утилитасы веб-беттер, файлдар мен суреттерді веб-беттен Linux командалық жолын пайдаланып жүктеуге мүмкіндік береді.
Сіз тораптан жүктеу үшін немесе бірнеше сайттарда бірнеше файлдарды жүктеу үшін енгізу файлын орнату үшін жеке wget пәрменін пайдалана аласыз.
Пайдаланушы қолтаңбаны пайдаланған кезде, ол жүйеден шыққан кезде де пайдаланылуы мүмкін. Мұны істеу үшін сіз nohup пәрменін қолданасыз.
Wget утилитасы қосылым қайтадан шыққан кезде қайта қосылады, егер байланыс мүмкіндігі қайтарылса, ол қалдырылған жерден қайтып шығады.
Барлық веб-сайттарды wget арқылы қотарып, веб-сайтты желіден тыс көре алу үшін сілтемелерді жергілікті көздерге бағыттауыңызға болады.
Wget мүмкіндіктері келесідей:
- HTTP, HTTPS және FTP арқылы файлдарды жүктеңіз
- Жүктеулерді жалғастырыңыз
- Веб-сайттарды желіден тыс қарау үшін, жүктелген веб-беттердегі абсолюттік сілтемелерді салыстырмалы URL-мекенжайына айналдырыңыз
- HTTP прокси-серверін және cookie файлдарын қолдайды
- Тұрақты HTTP қосылымдарын қолдайды
- Жүйеге кірмеген болсаңыз да, фонда жұмыс істей аласыз
- Linux және Windows жүйесінде жұмыс істейді
Wget арқылы веб-сайтты қалай жүктеуге болады
Бұл нұсқаулық үшін жеке блогымды қалай жүктеу керектігін көрсетемін.
wget www.everydaylinuxuser.com
Сіздің компьютеріңізде mkdir пәрменін пайдаланып өз қалтаңызды жасаңыз, содан кейін cd пәрменін пайдаланып қалтаға жылжытыңыз.
Мысалға:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Нәтиже - жалғыз index.html файлы. Өз кезегінде бұл файл өте пайдалы емес, себебі Google әлі де контент әлі де алынып, суреттер мен стильдер әлі де Google-да сақталады.
Толық сайтты және барлық беттерді жүктеу үшін келесі пәрменді пайдалануға болады:
wget -r www.everydaylinuxuser.com
Бұл беттер бетіне рекурсивті түрде 5 деңгейдің тереңдігіне дейін жүктеледі.
5 деңгейдің тереңдігі сайттан бәрін алу үшін жеткіліксіз болуы мүмкін. Сіз -l қосқышын төмендегідей өтуге болатын деңгейлер санын орнату үшін пайдалануға болады:
wget -r -l10 www.everydaylinuxuser.com
Егер сіз шексіз рекурсияды қаласаңыз, төмендегілерді қолдануға болады:
wget -r -l inf www.everydaylinuxuser.com
Сондай-ақ, inf функциясын 0 мәнімен ауыстыруға болады, ол бірдей нәрсені білдіреді.
Тағы бір проблема бар. Барлық беттерді жергілікті түрде алуыңыз мүмкін, бірақ беттердегі барлық сілтемелер бұрынғы орындарға әлі де назар аударады. Сондықтан, беттердегі сілтемелер арасында жергілікті түрде нұқу мүмкін емес.
Бұл мәселені жергілікті бетте жүктелген эквивалентіне нұсқайтын беттердегі барлық сілтемелерді келесі түрге түрлендіретін -k қосқышын қолдану арқылы шешуге болады:
wget -r -k www.everydaylinuxuser.com
Егер сіз веб-сайттың толық айнасын алуды қаласаңыз, -r -k және -l қосқыштарын пайдалану қажеттігін түсіретін келесі коммутаторды ғана пайдалана аласыз.
wget -m www.everydaylinuxuser.com
Сондықтан егер сізде өзіңіздің веб-сайтыңыз болса, бұл қарапайым пәрменді пайдалана отырып, толық сақтық көшірме жасауға болады.
Аялық пәрмен ретінде wget іске қосыңыз
Файлдарды қотару кезінде терминал терезесіндегі жұмысыңызға қол жеткізуге мүмкіндік беретін фрагментті басқару пәрмені ретінде іске қосуға болады.
Тек келесі пәрменді пайдаланыңыз:
wget -b www.everydaylinuxuser.com
Әрине, коммутаторларды біріктіруге болады. Веб-торапты айқындаған кезде wget пәрменін фондық режимде іске қосу үшін келесі пәрменді қолданыңыз:
wget -b -m www.everydaylinuxuser.com
Бұны бұдан әрі жеңілдетуге болады:
wget -bm www.everydaylinuxuser.com
Тіркеу
Wget пәрменін фондық режимде іске қоссаңыз, ол экранға жіберілетін қалыпты хабарламалардың ешқайсысын көрмейді.
Сіз кез келген уақытта орындалатын прогресті құйрық пәрменін пайдалана отырып тексеру үшін журнал файлына жіберілген барлық хабарларды ала аласыз.
Wget пәрменінен ақпаратты журнал файлына шығару үшін келесі пәрменді пайдаланыңыз:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Әрине, керісінше, ешқандай тіркеуді талап етпейді және экранға шығатын ешқандай нәтиже жоқ. Барлық шығуды болдырмау үшін келесі пәрменді пайдаланыңыз:
wget -q www.everydaylinuxuser.com
Бірнеше тораптан жүктеу
Көптеген сайттардан жүктеу үшін кіріс файлын орнатуға болады.
Таңдаулы редакторды немесе тіпті мысық пәрменін пайдаланып, файлды ашыңыз және файлдың әрбір жолында жүктеу үшін сайттарды немесе сілтемелерді тізімнен бастаңыз.
Файлды сақтаңыз және келесі wget пәрменін іске қосыңыз:
wget -i / path / to / енгізу файлы
Өзіңіздің веб-сайтыңызды сақтап қалудан басқа, немесе пойызда оқу үшін жүктеп алуға болатын нәрсе табу мүмкін болмаса, бүкіл веб-сайтты жүктеп алуыңыз екіталай.
Сіз бір URL-ні суреттермен жүктеп алуыңыз мүмкін, немесе zip файлдары, ISO файлдары немесе сурет файлдары сияқты файлдарды жүктеу мүмкін.
Осыны ескере отырып, сіз келесілерді енгізу файлына терудің қажеті жоқ, себебі уақыт өте келе:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Егер негізгі URL әрдайым бірдей болатынын білсеңіз, кіріс файлында төмендегілерді ғана көрсетуге болады:
- file1.zip
- file2.zip
- file3.zip
Негізгі URL-мекен-жайын wget пәрменінің бөлігі ретінде төмендегідей бере аласыз:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Параметрлерді қайталаңыз
Егер сіз кіріс файлы арқылы жүктеуге болатын файлдар кезегін орнатқан болсаңыз және компьютеріңізді файлдарды жүктеу үшін түні бойы жұмыс істеп жатсаңыз, сіз таңертең төмен түсіп, бірінші файлға тығылып, түні бойы қайталанды.
Келесі коммутаторды пайдаланып қайталау әрекеттерінің санын көрсете аласыз:
wget -t 10 -i / path / to / енгізу файлы
Жоғарыда көрсетілген команданы -T қосқышымен бірге, келесі секундтарда күту уақытын көрсетуге болады:
wget -t 10 -T 10 -i / path / to / енгізу файлы
Жоғарыда көрсетілген пәрмен 10 рет қайталап, файлдағы әрбір сілтеме үшін 10 секундқа қосылуға тырысады.
Сондай-ақ, сіз 4 гигабайттық файлдың 75% -ын жартылай кеңжолақты байланысқа ішіне тек қосылуға қосылуға қосқан кезде ішінара жүктеп алғаныңызда өте тітіркендіреді.
Wget бағдарламасын келесі пәрменді пайдалану арқылы жүктеуден бас тартқан жерден қайталау үшін пайдалануға болады:
wget -c www.myfileserver.com/file1.zip
Серверді қотарып жіберген болсаңыз, хост оны өте ұнатпауы мүмкін және оны бұғаттауы немесе жай сұрауларыңызды жоюы мүмкін.
Әрбір аралықта қанша уақыт күту керектігін көрсететін күту кезеңін келесідей көрсете аласыз:
wget -w 60 -i / path / to / енгізу файлы
Жоғарыда көрсетілген пәрмен әрбір жүктеудің арасында 60 секунд күтеді. Бұл бір файлдан көптеген файлдарды жүктеп жатсаңыз пайдалы.
Кейбір веб-хосттар жиілігін байқай алады, бірақ бәрібір сізге кедергі жасайды. Сіз күтпеген кезеңді кездейсоқ түрде бағдарламаны келесідей пайдаланбағандай етіп жасауға болады:
wget --random-wait -i / path / to / енгізу файлы
Жүктеу лимиттерін қорғау
Көптеген интернет-провайдерлер, әсіресе, сіз қаладан тыс жерде тұрсаңыз, Кеңжолақты кеңжолақты пайдалану үшін жүктеу шектеулерін қолданады.
Сіз бұл жүктеу шегін соқпау үшін квота қосқыңыз келуі мүмкін. Мұны келесі жолмен жасауға болады:
wget -q 100m -i / path / to / енгізу файлы
-q командасы бір файлмен жұмыс істемейтінін ескеріңіз.
Сондықтан 2 гигабайттық файлды қотарып алсаңыз, -q 1000 м-ні қолданып, файлды қотару тоқтатылмайды.
Квота тек қана сайттан немесе кіріс файлды пайдаланған кезде ғана қолданылады.
Қауіпсіздікке қол жеткізу
Кейбір сайттар сізге жүктеп алғыңыз келетін мазмұнға кіру үшін жүйеге кіруді талап етеді.
Пайдаланушы аты мен құпия сөзді көрсету үшін төмендегі қосқыштарды пайдалануға болады.
wget --user = yourusername --password = yourpassword
Біреу пс пәрменін іске қосса, пайдаланушы аты мен құпия сөзді көре алатын көп пайдаланушы жүйесінде ескертпе.
Басқа жүктеу опциялары
Әдепкі бойынша, -r қосқышы мазмұнды рекурсивті түрде қотарып алады және ол каталогтарды жасайды.
Сіз барлық файлдарды төмендегі коммутаторды пайдаланып бір қалтаға жүктеп алуға болады:
wget -nd -r
Керісінше мына командамен қол жеткізуге болатын каталогтар жасауды күшейтуге болады:
wget-x -r
Кейбір файл түрлерін қалай жүктеуге болады
Егер сіз тораптан рекурсивті жүктеп алғыңыз келсе, бірақ сіз тек қана mp3 немесе png сияқты кескін сияқты белгілі бір файл түрін жүктегіңіз келсе, келесі синтаксисті қолдануға болады:
wget -A «* .mp3» -р
Мұның бір бөлігі белгілі бір файлдарды елемеу болып табылады. Мүмкін, сіз орындалатын файлдарды жүктегіңіз келмейді. Бұл жағдайда келесі синтаксисті қолданасыз:
wget -R «* .exe» -р
Клиент
Firefox қондырмасы бар ұяшық бар. Оны Firefox-қа келесі жолмен қосуға болады.
Https://addons.mozilla.org/en-US/firefox/addon/cliget/ сайтына кіріп, «Firefox қосу» түймешігін басыңыз.
Ол пайда болған кезде орнату түймешігін басыңыз. Сіз Firefox-ды қайта бастауыңыз керек.
Клиентті пайдалану үшін сіз жүктеп, тінтуірдің оң жақ батырмасын басқан бетке немесе файлға кіріңіз. Мәтінмәндік мәзірден cliget деп аталатын болады және «wget» және «copy to curl» опциялары болады.
«Виртуалды көшіру» опциясын таңдап, терминал терезесін ашыңыз, содан кейін тінтуірдің оң жақ батырмасын басыңыз. Тиісті wget пәрмені терезеге қойылады.
Негізінен, бұл сізді өзіңізге пәрменді теру керек.
Резюме
Wget пәрмені көптеген опциялар мен қосқыштар ретінде.
Сондықтан төмендегілерді терминал терезесіне теру арқылы wget үшін нұсқаулықты оқып шығыңыз:
ер адам