Pomoću wget programa možete preuzeti web stranice, datoteke i slike s weba pomoću Linux naredbenog retka.
Možete upotrijebiti jednu naredbu wget da preuzmete s web mjesta ili postavite ulaznu datoteku za preuzimanje više datoteka na više web mjesta.
Prema priručnoj stranici, wget se može koristiti čak i kada se korisnik odjavio iz sustava. Da biste to učinili, upotrijebite nohup naredbu.
Uslužni program wget pokušat će ponovno preuzimanje čak i kada veza padne, nastavljajući od mjesta gdje je prekinuta ako je moguće kada se veza vraća.
Možete preuzeti cijele web stranice koristeći wget i pretvoriti linkove na točku na lokalne izvore, tako da možete pogledati web stranice izvanmrežno.
Značajke wget su kako slijedi:
- Preuzmite datoteke koristeći HTTP, HTTPS i FTP
- Nastavi preuzimanja
- Pretvorite apsolutne veze u preuzete web stranice u relativne URL-ove kako bi se web stranice moglo pregledati izvanmrežno
- Podržava HTTP proxy poslužitelje i kolačiće
- Podržava trajne HTTP veze
- Može se izvoditi u pozadini čak i kada niste prijavljeni
- Radovi na Linuxu i Windowsu
Kako preuzeti web stranicu koristeći wget
Za ovaj vodič, pokazat ću vam kako preuzeti moj osobni blog.
wget www.everydaylinuxuser.com
Vrijedno je izraditi vlastitu mapu na vašem računalu pomoću naredbe mkdir, a zatim se prebaciti u mapu pomoću naredbe cd .
Na primjer:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Rezultat je jedna datoteka index.html. Ova datoteka je sama po sebi beskorisna jer se sadržaj još uvijek izdvaja od Googlea, a slike i stilski listovi i dalje se održavaju na Googleu.
Za preuzimanje cijelog web mjesta i svih stranica, možete koristiti sljedeću naredbu:
wget -r www.everydaylinuxuser.com
To će rekurzivno preuzimati stranice do maksimalno 5 razina dubine.
5 razina dubine možda neće biti dovoljno da bi sve sa stranice. Pomoću tipke -l možete postaviti broj razina na koje želite doći na sljedeći način:
wget -r -110 www.everydaylinuxuser.com
Ako želite beskonačnu rekurziju, možete koristiti sljedeće:
wget -r -l inf www.everydaylinuxuser.com
Također možete zamijeniti inf sa 0 što znači istu stvar.
I dalje postoji još jedan problem. Sve stranice možete dobiti lokalno, ali sve veze na stranicama još uvijek ukazuju na svoje izvorno mjesto. Stoga nije moguće kliknuti lokalno između veza na stranicama.
Možete se zaokružiti ovim problemom pomoću prekidača -k koji pretvara sve veze na stranicama kako bi ukazao na njihove lokalno preuzete ekvivalente kako slijedi:
wget -r -k www.everydaylinuxuser.com
Ako želite dobiti potpuno ogledalo web stranice, jednostavno upotrijebite sljedeću sklopku koja uklanja potrebu za korištenjem prekidača -r -k i -l.
wget -m www.everydaylinuxuser.com
Stoga, ako imate vlastitu web stranicu, možete napraviti potpuni backup pomoću ove jednostavne naredbe.
Pokrenite wget kao pozadinsku naredbu
Wget možete dobiti kao pozadinsku naredbu ostavljajući vas u mogućnosti nastaviti s radom u terminalnom prozoru dok datoteke preuzmu.
Jednostavno upotrijebite sljedeću naredbu:
wget -b www.everydaylinuxuser.com
Možete, naravno, kombinirati prekidače. Da biste pokrenuli naredbu wget u pozadini dok je zrcaljeno na web mjestu, upotrijebite sljedeću naredbu:
wget -b -m www.everydaylinuxuser.com
To možete pojednostaviti na slijedeći način:
wget -bm www.everydaylinuxuser.com
sječa drveta
Ako pokrenete naredbu wget u pozadini, nećete vidjeti nikakve normalne poruke koje šalju na zaslon.
Možete dobiti sve te poruke poslane u datoteku zapisnika tako da možete pratiti napredak u bilo kojem trenutku pomoću repne naredbe .
Za slanje podataka iz naredbe wget u datoteku zapisnika upotrijebite sljedeću naredbu:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Preokrenuti, naravno, je da ne zahtijeva nikakvu prijavu i nema izlaza na zaslonu. Za izostavljanje svih izlaznih podataka koristite sljedeću naredbu:
wget -q www.everydaylinuxuser.com
Preuzimanje s više mjesta
Možete postaviti ulaznu datoteku za preuzimanje s više različitih web mjesta.
Otvorite datoteku pomoću omiljenog urednika ili čak mačke i započnite s popisom web stranica ili veza za preuzimanje na svakoj liniji datoteke.
Spremite datoteku i pokrenite sljedeću naredbu wget:
wget -i / path / to / inputfile
Osim izrade sigurnosnih kopija vlastite web stranice ili možda pronalaženje nekog za preuzimanje za čitanje na vlaku, malo je vjerojatno da ćete preuzeti cijelu web stranicu.
Vjerojatnije je da ćete preuzeti jedan URL sa slikama ili možda preuzimati datoteke kao što su zip datoteke, ISO datoteke ili slikovne datoteke.
Imajući to na umu, ne želite upisati sljedeće u ulaznu datoteku, jer to traži:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Ako znate da će osnovni URL uvijek biti isti, možete samo navesti sljedeće u ulaznoj datoteci:
- file1.zip
- file2.zip
- file3.zip
Zatim možete navesti osnovni URL kao dio naredbe wget kako slijedi:
wget -B http://www.myfileserver.com -i / put / to / inputfile
Ponovite opcije
Ako ste postavili niz datoteka za preuzimanje u ulaznoj datoteci i ostavljate svoje računalo radi cijele noći za preuzimanje datoteka, bit će vam prilično uzrujana kada dolazite ujutro i otkrijete da je zaglavio prvu datoteku i pokušava cijelu noć.
Možete odrediti broj pokušaja pomoću sljedećeg prekidača:
wget -t 10 -i / put / to / inputfile
Možda želite upotrijebiti gornju naredbu zajedno s -T preklopnikom koji vam omogućuje određivanje vremenskog ograničenja u sekundama kako slijedi:
wget -t 10 -T 10 -i / put / to / inputfile
Gornja naredba pokušat će ponovo 10 puta i pokušat će se povezati za 10 sekundi za svaku vezu u datoteci.
Također je prilično neugodno kada ste djelomično preuzeli 75% od 4 gigabajta datoteke na sporu širokopojasnu vezu samo za vašu vezu za ispuštanje.
Možete upotrijebiti wget da biste pokušali ponovno pokušati preuzeti pomoću sljedeće naredbe:
wget -c www.myfileserver.com/file1.zip
Ako utipkate poslužitelj, domaćin možda ne bi vam se svidio previše i može blokirati ili samo ubiti vaše zahtjeve.
Možete odrediti razdoblje čekanja koji određuje koliko dugo čekati između svakog dohvaćanja kako slijedi:
wget -w 60 -i / put / to / inputfile
Gornja naredba čeka 60 sekundi između svakog preuzimanja. To je korisno ako preuzimate puno datoteka iz jednog izvora.
Ipak, neki web hostovi mogu zamijetiti učestalost i ionako će vas blokirati. Razdoblje čekanja možete napraviti slučajno kako bi izgledao kao da ne upotrebljavate neki program kako slijedi:
wget - slučajno-pričekajte -i / put / u / ulazni datoteku
Zaštita ograničenja preuzimanja
Mnogi davatelji internetskih usluga i dalje primjenjuju ograničenja preuzimanja za vašu širokopojasnu upotrebu, posebno ako živite izvan grada.
Možda želite dodati kvotu tako da ne pušite ograničenje preuzimanja. To možete učiniti na sljedeći način:
wget -q 100m -i / put / to / inputfile
Imajte na umu da naredba -q neće raditi s jednom datotekom.
Dakle, ako preuzmete datoteku veličine 2 gigabajta, pomoću -q 1000m neće zaustaviti preuzimanje datoteke.
Kvota se primjenjuje samo kada se rekurzivno preuzimaju s web mjesta ili kada se koristi ulazna datoteka.
Dobivanje sigurnosti
Neke web-lokacije zahtijevaju da se prijavite kako biste mogli pristupiti sadržaju koji želite preuzeti.
Pomoću sljedećih prekidača možete navesti korisničko ime i zaporku.
wget - user = vašeusername --password = vaša zaporka
Napomena o multi-korisničkom sustavu ako netko pokrene naredbu ps, moći će vidjeti vaše korisničko ime i zaporku.
Ostale opcije preuzimanja
Po defaultu -r prekidač će rekurzivno preuzeti sadržaj i stvoriti direktorije kao što ide.
Sve datoteke možete preuzeti u jednu mapu pomoću sljedećeg prekidača:
wget -nd -r
Suprotno tome je prisiliti stvaranje direktorija koji se mogu postići pomoću sljedeće naredbe:
wget-x -r
Kako preuzeti određene vrste datoteka
Ako želite rekurzivno preuzeti s web mjesta, ali samo želite preuzeti određenu vrstu datoteke kao što je mp3 ili slika kao što je png, možete upotrijebiti sljedeću sintaksu:
wget -A "* .mp3" -r
Obrnuto je ignoriranje određenih datoteka. Možda ne želite preuzeti izvršne datoteke. U ovom slučaju koristite sljedeću sintaksu:
wget-R "* .exe" -r
Cliget
Postoji dodatak za Firefox koji se zove cliget. To možete dodati Firefoxu na sljedeći način.
Posjetite https://addons.mozilla.org/en-US/firefox/addon/cliget/ i kliknite gumb "dodaj u Firefox".
Kada se prikaže, kliknite gumb za instalaciju. Morat ćete ponovno pokrenuti Firefox.
Da biste koristili Clig, posjetite stranicu ili datoteku koju želite preuzeti i kliknite desnom tipkom miša. Pojavit će se kontekstni izbornik pod nazivom cliget, a bit će dostupne opcije za "kopiranje na wget" i "copy to curl".
Kliknite opciju "copy to wget" i otvorite prozor terminala, a zatim desnom tipkom kliknite i zalijepite. Odgovarajuća naredba wget će biti zalijepljena u prozor.
U osnovi to štedi da morate upisati naredbu sami.
Sažetak
Naredba wget kao ogroman broj opcija i preklopnika.
Stoga je vrijedno pročitati priručnu stranicu za wget upisivanjem sljedećeg u terminalni prozor:
čovječe