Xenu s link: Find broken links on your site with Xenu’s Link Sleuth (TM)

Содержание

Find broken links on your site with Xenu’s Link Sleuth (TM)



Find broken links on your site with Xenu’s Link Sleuth (TM)  

Find broken links on web sites


Wikipedia article about Xenu’s Link Sleuth

Description

Xenu’s Link Sleuth (TM) checks Web sites for broken links. Link verification is done on «normal» links, images, frames, plug-ins, backgrounds, local image maps, style sheets, scripts and java applets. It displays a continously updated list of URLs which you can sort by different criteria. A report can be produced at any time.

Additional features:

  • Simple, no-frills user-interface
  • Can re-check broken links (useful for temporary network errors)
  • Simple report format, can also be e-mailed
  • Executable file smaller than 1MB
  • Supports SSL websites («https:// «)
  • Partial testing of ftp, gopher and mail URLs
  • Detects and reports redirected URLs
  • Site Map

Download

System requirements: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7/8/10, WININET.
DLL required (included with Internet Explorer). No, it won’t work on Windows 3.11, not even with Win32s. No, I won’t make a Java, MacOS, Linux, Knoppix, Ubuntu, Beos, Palm, C64, SAP, AmigaOS, Blackberry, Symbian, iPhone or Android version. Don’t even ask! (However I have been told that it runs faultlessly under Fedora 13, Red Hat 8, Ubuntu, Kubuntu 14.04 and OS X via wine or WineBottler, and under Crossover on a Mac :-))

To have peace of mind, I recommend that you are using an up-to-date anti-virus software on your computer (so do I!).

Ok, I have read all that, I want to download! (current version: 1.3.8 from September 4th, 2010) or try a beta version

 
Getting started:
Unzip it and install it wherever you want. To check a site, click the toolbar icon on the left and enter a WWW address. If the address finishes with a directory name, don’t forget to put a
/
at the end or you will possibly get the whole parent directory spidered.

Incorrect:
http://www.host.com/user

Correct:
http://www.host.com/user/

You can also click the «browse» button to check a local HTML file. If you do not already use IE for browsing and are sitting behind a company firewall, don’t forget to configure your proxy before you start. If you are using a personal firewall (like ZoneAlarm or Outpost) you must enable Microsoft Internet Explorer by starting it, entering a URL and then «allowing» the application (you may also have to enable Xenu — see example for Norton Intenet Security). To find out what the software can do, simply try out the menu choices, the toolbar and the right mouse key. Or read this third-party manual, a bigger third-party manual with many pictures, a third-party report (How I check over 6,000 links every seven to ten days), a blog post by a SEO guy, or deutsche Beschreibung und noch eine, guide en français, nederlandse beschrijving, descripción en español, русское описание, Український опис, Beskrivelse på dansk, opis w języku polskim, opis na Srpsko-Hrvatskom jeziku.

Good luck! If you find the software useful, please click here.
 

Test everything. Hold on to the good.
(1 Thessalonians 5:21)

Join the Update Announcements mailing list at Yahoo Groups! To subscribe, send an empty e-mail to [email protected]

You can also join the user group by sending an e-mail to [email protected]
If you like to use a button for Xenu’s Link Sleuth on your web page, link to this page with these buttons: 

If you like to use a banner for Xenu’s Link Sleuth on your web page, link to this page with this banner:
 
 

The address of this web page is http://home.snafu.de/tilman/xenulink.html


Frequently Asked Questions (FAQ)

1. Who is Xenu?

See here.

2. Is Xenu’s Link Sleuth (TM) better than Incontext WebAnalyzer?

Incontext WebAnalyzer is no longer available since February 2002 and hadn’t been updated for years, so this is more a historical note.

The answer to the question: Yes and No. Xenu’s Link Sleuth (TM) does not have the graphic capabilities of Incontext WebAnalyzer 2.0 («Wavefront view»). But here are some of the advantages of Xenu’s Link Sleuth (TM):

  • It is free
  • Simple user-interface
  • Better error reports (not just «network error»)
  • «Save» works also while the software is busy
  • The «broken links view» shows only broken links; In WebAnalyzer you’d have to press the button again and again as the window fills with crap.
  • While Xenu does not offer an «update» facility (which doesn’t work anyway), it has a «recheck broken links» function that works fine.
  • It is small, written by one person experienced in Windows software development since 1993 and who works as a professional software developer since 1983. This means that bugs will be corrected quickly. This is a matter of honour.
  • The report can be viewed easily, even when you have long URLs.
  • Uses much less disk space for intermediate files, executable file much smaller
  • Loading of saved files much faster (WebAnalyzer loses time by displaying the extra graphics)
  • Supports SSL websites («https:// «)
  • Partial testing of ftp and gopher sites
  • Search for local orphan files
  • Special handling of redirected URLs
  • Site Map
  • Partial randomization of checking order, means less concurrent requests on a single server
Check your website both with this product and with another product (Linkbot, LinkScan, LinkAlarm, Web Link Validator, Screaming Frog and InSpyder offer trial versions, LinkExaminer is free and seems to be pretty good for SEO oriented tasks), and decide what you need and what you are willing to pay. If you do find something better in a different tool, tell me, even if it hurts 🙂

3. Is Xenu better than a web-based service?

There’s a free WWW based service called «LinkTiger» which looks pretty nice, although it isn’t free, except for a 100 links (As of October 2010).
Their web page is very nicely designed and made me think about whether (in general, not related to LinkTiger or Xenu) such a solution is better or not.

Audisto.com (as of June 2013 it was known as strucr.com) is also interesting (One of the founders invited me into a restaurant and we had a very nice talk). Audisto.com focuses on «the big picture» with websites. Not so much just finding broken links (it does not check external links), but find URLs that could be a problem for SEO, or find certain common HTML problems. Their target are big, really big websites (several millions of urls), where the web team has lost the understanding about what is going on. Sadly they no longer have free subscriptions (see pricing).

Server solution advantages:

  • No need to install anything
  • Independent of user OS
  • No use of client bandwith
  • Might be able to do more URLs, because servers will usually not keep all URLs in memory
  • Features can be updated without the user having to update his own system
Server solution disadvantages:
  • Dependent of server bandwidth
  • Cannot always be free, due to costs for hosting
  • Passwords must be uploaded to server
  • Cannot check intranets or local sites on HDD
  • Security risk if server gets hacked
  • Some server solutions insist on uploading an authorization file; might be difficult for companies with long decision delays
  • Legal risk if service is used to analyse competition
Client solution advantages:
  • Can run a check at any time
  • Passwords can be kept locally
  • Can check intranets or local sites on http://localhost or HDD (before they get uploaded!)
  • Tailored versions can be made
  • Would still be usable if I suddenly get hit by a safe
  • Check can be done without asking
Client solution disadvantages:
  • Security risk if software developer moves over to the dark side
  • Client bandwith is used
  • Dependent of having a computer that can run downloaded software
  • Dependent of having the correct OS (unless the client is written in Java)
  • Dependent of the RAM amount
Any more ideas pro or contra one of the two solutions? Contact me. (If you want to report a bug, click here).

4. Can I support the author?

Don’t send me your money — I still have my day job and survived the 2008 financial crisis 🙂 If you feel that my work is useful to you (maybe it helped with your job, maybe you were able to impress your boss?), please donate money to causes I support, or send me gifts.
  • In Germany: please support Netzpolitik.org.
  • in the UK: make a donation or subscribe to the Guardian.
  • in France: please support La Quadrature du Net.
  • elsewhere: please support wikileaks, independent press (good journalism is not free) or civil rights NGOs.
  • or send me a T-Shirt of your city, university, employer in XL size. Take into consideration that I’ll be wearing your T-Shirt at work. USPS «airmail letter post» is fast, reliable and unexpensive.
  • You can also send me objects that are cultural icons, i.e. a product that your country is famous for.
  • You can also send me packaged food (no meat or fish, this is likely forbidden by customs). If you are in Belgium, send beer. If you’re not sure, ask.
  • Mention the product and my name in your blog.
  • Send me a «thank you» letter on company paper, if you work for a well-known company. Make sure that you are authorized to send such a letter. This is my street address:
    Tilman Hausherr
    Poschingerstrasse 14
    12157 Berlin
    Germany

If you are on facebook, you can also click «like» here and here to increase the statistic near my name or near the product 🙂

Other things I need help with: if you’re an english native speaking person who understands german and knows the lingo of recipes, please check the third-party translation of this recipe of a Xenu cake by Ilse Hruby (you might try it, too! It tastes great!)

5. Why does Xenu’s Link Sleuth (TM) report http://www.site.com/../page/index.html as broken?

The key is the «../» part. It means you have e.g. a top level page that links to a page in a directory above, which doesn’t exist. It is true that Mozilla will not have any problems with such a page; but I am less tolerant.

6. How can I configure a proxy?

You can configure a proxy in the control application of Windows. Double-Click on the «internet» symbol, then click on the «card» of the dialog box that is named «Connection». You may need a proxy if you are sitting «behind a firewall». This is usually so in big corporate networks.

One user with Windows 2000 always had a timeout, he solved it by checking «Use HTTP 1.1» and also «Use HTTP 1.1 through proxy connections» in the «Advanced» tab of the Internet Options in the control panel. However, this may not work for everyone, because some web servers do not support HTTP 1.1.

7. Why does Xenu’s Link Sleuth(TM) report a URL with a space in it?

Either because you do have a space in the URL, or because you have a carriage return / newline in it. Although Mozilla tolerates this, I do not.

8. I use Mozilla 3.0 Gold and can’t get rid of file: URLs for images.

What can I do? Re-edit the page, double-click on the picture, remove file: from the picture location and take care to uncheck «copy image to document’s location» in the «properties» dialog box (at the bottom left) before you save and exit the dialog box.

9. What is the maximum number of URLs that can be checked?

There is no fixed number, but it seems to be above one million. The problem is that Windows XP applications have a size of 2GB max.

A 64 bit beta version is available which may or may not allow more URLs. Just unpack the ZIP file and move the XENU.EXE and ZLIBWAPI.DLL files at the place where you have the XENU.EXE file currently (rename the old XENU.EXE file first to save it). The new one is based on Microsoft Visual Studio 2010. The 64 bit EXE file is about 10 times as big as the 32 bit version that is based on the good old Visual Studio 1998. Microsoft has confirmed the problem.

10. Can the software check my site locally?

Since september 1998 (1. 0n), you can do so without a local web server (your address would then be http://127.0.0.1). Use the «Browse» button in the «New» dialog box.

The results will not always be the same as a «remote» check:

  • Sometimes you’ll get «error 3». It happens because the WININET.DLL is unable to handle directories, i.e. links that end with «/». You can avoid this by linking to the actual «main file», usually index.html or default.html. That your browser can handle local directories and display them nicely, is because he does additional work, which I do not.
  • Mixups of higher/lower case characters in links won’t be found, since Windows does not make a difference. But UNIX does!
  • The main reason that you still need to make occasional «remote» checks is because you might have forgotten to upload your files to your WWW server.
A user of IE 4.0 reported that when not online, the software checks every «remote» URL like a local file. This is a problem of the newer version of the WININET. DLL; the version with IE 3.0 reports «no connection» or «no such host» instead, which is more logical.

11. Does it work on Windows NT 3.51?

One user said it worked fine after he copied a version of WININET.DLL from a Windows 95 system standing nearby, and put it into the directory where Xenu’s Link Sleuth(TM) was installed.

12. How is it so damn fast?

Because it uses a (possibly patented, see patents here and here) technique known as preemptive multithreading. It means that the link checking software retrieves several web pages at the same time; the competition uses the same technique. The maximum count of threads is initially set to 30, but you can configure it to any number between 1 and 100. A number that is too high might result in failed connections or in timeouts, which means you will have to recheck the broken links. At the time I had a dial-up connection, I got good results with 70. Now I have a DSL connection, and I have to set the number to 1-5. I suspect that my DSL provider has installed a brake somewhere to prevent «commercial» customers from using the unexpensive «private» service.

13. Can I have the source code?

Hahahahahaha!

14. Can I buy the source code?

Sure, make me «an offer I can’t refuse».

15. Just for fun, I checked Tilman’s web site, and found many broken links. Why?

I check my own web site every week on friday. Nevertheless there are always broken links:
  • Links that I know to be broken: I keep them like that to remind me to find these people some day. The web page itself has a notice that the link is broken.
  • Temporary unreachable hosts: these are temporary routing errors.
  • Really broken links: I will usually correct the link or remove it within the next few days.

16. How do I correct broken links?

Repairing broken links (i.e. getting the correct ones) is a difficult task that takes time, but with experience, you’ll get it done faster and faster.
  • if you have the e-mail address of the site owner (because you know him), try an e-mail. Sometimes the address still works, even if the web site is gone.
  • find the home page of the site you link to, to see if the site has a «sorry we moved» message. If you linked to http://www.host.com/user/page888.html and this is broken, look at http://www.host.com/user/ to see if there is a message, or to see if the site has been reorganized. Some sites reorganize their user pages differently, e.g. http://www.host.com/homepages/users/page888.html. Sometimes the web switches changes between the two methods. Other sites are owned by the user himself, e.g. www.user.com, so the home page is the root page. If the site exists but you cannot find your page, send an e-mail to the owner.
  • use search engines to find the site or the name of the site owner (if you know). To find where the site is, use web search engines (like Google or the Internet Archive) and usenet search engines (like Google Groups).
    • You find the site you searched for
    • You find a site that links to the site you searched for
    • You find the site in the Google Cache or the Internet Archive (simply enter the URL in the search box!), and can use the contents to search for the name of the owner
    • You find a site that links to the site you searched for, but is also broken. E-mail the site owner, and tell him that the link is broken. Bookmark the site and revisit it in a week, to see if the other person has found it. If not, you have nevertheless succeeded in making the other person feel as bad as you, which brings some relief 🙂
    • You find the new e-mail address of the user. Either e-mail him, or try to construct the URL yourself ([email protected] leads to http://www.host.com/user/)
  • post a message in a newsgroup that deals with the topic. Hopefully the site owner or one of his friends reads the messages there.
  • if you are still unsuccessful, either delete your link to the site or repeat your attempts after a month (some sites might reappear in a search engine after some time). Sometimes it happens that a host is reorganizing its hard disk, and all user pages get back within a few days.

17. What about ftp and gopher sites?

Starting with version 1.0k I have implemented a new ftp checking method that is 100% reliable. Sadly, this method does not work with proxies. The previous method I used (and still use for gopher) was unreliable, as it did not detect certain errors.

The method for checking gopher sites is still unreliable. When an ftp or gopher site is accessed through a proxy, this proxy builds up a web page. Sadly, it doesn’t always bring up the information whether the URL exists or not. When you access a gopher site without a proxy, it brings an error message, but not an error code. This seems to be a bug of the OpenURL() function of WININET.DLL.

The output lists ftp and gopher sites as links, which allows you to make a manual check of these sites.

18. Why can’t I launch URLs?

Starting with version 1.0g (Christmas 1997), URLs are launched with DDE («dynamic data exchange», a windows method of communication between applications), to open many browser windows but to prevent the opening of several Netscape applications. This is done with the help of the Registry, by searching for HKEY_CLASSES_ROOT\http\shell\open. This has the path for the browser, the DDE application name (e.g. «Netscape», «IExplore»), the DDE topic (usually «WWW_OpenURL»), and a template for the DDE item (usually «%1»). If you cannot launch a URL, do not panic — export and e-mail me the segment of your registry (start REGEDIT.EXE, and search for «http»). Additionally, send me the file XENULOG.TXT which you will find in your %TEMP% directory.

The cause is usually that you have not installed your browser properly (maybe you just transferred the files from another computer). Solution: update or reinstall your browser.

Starting with version 1.1b, I have stopped displaying an error message when the registry is incomplete, because there were too many complaints. Instead, the browser will simply be launched with the page. This has the disadvantage that the page won’t be displayed in an extra window of the current active browser application.

One user with Microsoft Vista 64 (UAC disabled) was unable to launch URLs (message box: «Unable to open browser for ‘URL’: error 5: Access is denied»). The cause was COMODO Firewall Pro 3.0.25.378. Without the firewall, it worked fine. Please remember that «Personal Firewalls» are mostly snake-oil. Set up an external firewall box instead — this is usually included in your router.

18a. Why does the browser not open a new window?

This is a problem with Microsoft Internet Explorer. Open your registry and search for HKEY_CLASSES_ROOT\http\shell\open\ddeexec. If the key value is «%1»,,-1,0,,,, then change it to «%1»,,0,0,,,, (i.e. you change the -1 to 0).

18b. Why does Link Sleuth freeze when launching the report?

If Link Sleuth freezes when launching the report, but not when double-clicking on a URL, the reason might be the site map. A site map can be HUGE if the site goes very «deep» (high level, see the «level» column in the Link Sleuth window). A very «deep» site can happen if you have a forum.

Solution: disable the site map in the options dialog, or exclude the «deep» parts of your website (e.g. a forum) in the initial dialog box.

Version 1.3 has an abort dialog.

18c. Why does Link Sleuth freeze when launching the report or a URL?

I do not know why this happens, but I have experienced this myself with Windows ME (but not with Windows XP), and have received similar reports from users. The problem goes away by rebooting Windows, but comes back later. You can also get rid of the problem by making a change in the XENU.INI file below the line with [Options], enter this:
UseDDE=0
The only disadvantage is that it will not open a new window in the browser.

19. What about cookies?

By default, cookies are disabled, and Xenu rejects all cookies.

If you need cookies because

  • you have used Internet Explorer to authenticate yourself before starting a run
  • to prevent the server from delivering URLs with a session ID
then you can enable the cookies in the advanced options dialog.
(This has been available since Version 1.2g)

Warning:
You should not use this option if you have links that delete data, e. g. a database or a shop — you are risking data loss!!!

20. Why are some links reported as «broken» by Xenu, that can be displayed within my browser?

Some servers read the «User Agent», i.e. the name of the software that tries to access a website. Some websites allow only browsers, some even only Microsoft Internet Explorer, and refuse everything else. Some may even specifically refuse Xenu because of past misuse. Andi has a list of websites that deny access to Xenu. Tom Boutell has an extended explanation of how wikipedia denies access. A user-configurable «User Agent» would be the solution, but this would make abuse possible.

21. Why can’t I connect to «secure» (https) sites ?

If you have set your proxy correctly, try to connect with IE. If this doesn’t work, read this usenet post for help. If this still doesn’t work and you use Windows NT 4.0, install the latest NT service packs (up to SP5).

22. Any known problems with Windows 95?

Some people have reported crashes. These problems were usually solved by installing IE 3.0 (or higher) or the following service packs: One guy had problems with the WININET.DLL (v. 4.70.1300) installed with OEM Windows 95 (v. 95 4.00.950 C). Changing to version 4.70.1335 solved the problem.

A simpler solution is to go to http://windowsupdate.microsoft.com and install whatever they tell you (you need to have IE 4.0 or higher on your system)

23. Any known problems with Windows 2000?

Although I received many reports that it runs fine, one user reported a problem and a solution:

Windows 2000 automatically sets a configuration option to use HTTP 1.1 for connecting to web sites. Many, many web sites do not use that version but continue to use HTTP 1.0, so the automatic setting may prevent connections. This is the reason why Xenu would not run for me. When I disabled that setting, Xenu performed properly.

To disable that setting: Control Panel -> Internet Options -> Advanced (tab) -> HTTP 1. 1 settings (list heading) -> Use HTTP 1.1 (checkbox: uncheck it)

24. Can I configure the timeout?

Enter the number of seconds in the [Options] segment in XENU.INI, e.g. as timeout=120. The default value is 60. Note that this isn’t «perfect». Microsoft Windows has a bug so that the timeout can’t be set the way it should. I am using a workaround advice from Microsoft. However I have observed that it doesn’t work if the timeout «hits» while trying to find out if a host name exists.

Alternatively, try this:

  • Start the Registry Editor (REGEDIT.EXE)
  • Go to HKEY_CURRENT_USER \ Software \ Microsoft \ Windows \ CurrentVersion \ InternetSettings
  • Select New > DWORD from the Edit menu
  • Call it ReceiveTimeout with a value of <number of seconds> * 1000
    (The «hidden» default is 300000, i.e. five minutes, which is too long)
  • Restart your system

Some users have complained that if one URL hits a timeout or a failed connection, all URLs from that host also do. Starting with version 1.2h, this behaviour can be disabled by unchecking «fail all URLs with same failed host» in the advanced options dialog. (The default behaviour is «checked»)

25. What about JavaScript?

JavaScript is a programming language, not a formatting language. This makes web pages dynamic; they might depend on the mouse type, the screen size, etc… I have been begged to check simple JavaScript links that have the form javascript:function(‘address’,param1,param2,…,paramN)

My solution, which was first announced in the user group, requires a change in the XENU.INI file. You need a basic understanding of regular expressions (regexp). You must put your regexp in the INI file, like this:

[Options]
Javascript=javascript:.*\([‘»](.*(/|s?html?|gif|jpe?g|png|jsp|cfm|zip|exe|aspx?|pl|pdf|xml|ra|asx|ram|swf|php)(\?.*)?)[‘»](.*)

In the example above, the substring within the first (….) must contain the valid URL.

Frank Visser suggested an improved regexp:

[Options]
Javascript=[j|J]avascript:[_a-zA-Z0-9]+ *\( *[‘»]([^'»]+)[‘»]

Frank Visser has also written a better description on his site.

Note: there may be no blank between within «javascript:function», because the regexp wouldn’t work.

26. What about passwords entered in a FORM?

The software is not able to enter passwords in a FORM. I just don’t see a way to acomplish this easily. I assume it is possible if one combines a set of variable names, values, and a web page that would accept them with a http POST command. But some alternatives might work:
  • Log in with Internet Explorer, start Xenu, then enable cookies in the advanced options dialog (read the details), then start the check
  • If the server accepts authentication with GET (might work with the Tomcat server), try sending such a URL. However, you might still have to activate cookies.
I came up with a new solution for this problem, please give me feedback if it works or if it doesn’t. It was first presented in the user group in April 2009.

Submitting a FORM was never a technical problem for me; I have tested this years ago already, but without any user interface. My mistake was to look for a general way to catch FORMs in HTML pages, instead of just using the login FORM url as a start. I found a somewhat practicable solution at a competing site (WLV).

A test version of Xenu (this may not be the most current version) with login FORMs can be found here

The initial dialogbox has a new checkbox for POST and a POST query string. Note that the query string won’t be stored in the INI file.

Imagine you’d want to check the (imaginary) password protected website https://www.host.com. Look at the HTML for the FORM:

<FORM METHOD=»POST» ACTION=»https://www.host.com/scripts/login.php»>
<INPUT TYPE=»text» NAME=»User»>
<INPUT TYPE=»password» NAME=»Password»>
<INPUT TYPE=»submit» NAME=»Submit» VALUE=»Login»>
</FORM>

Thus, the start URL would be https://www.host.com/scripts/login.php

and if the username is «Xenu», and the password is «Secret», the POST query string would be

User=Xenu&Password=Secret&Submit=Login

(The POST query string gets tricky if there are spaces or special characters in the parameters. It must be URL-encoded)

Important:

  1. You must add https://www.host.com to the inclusion list. If you don’t, only URLs beginning with https://www.host.com/scripts/ will be checked;
  2. Don’t let Xenu hit the logout link! To avoid this, add the logout URL to the exclusion list:
    https://www.host.com/scripts/logout.php
  3. If your server doesn’t do proper URL-rewriting when sessions are disabled, then you must enable cookies in the advanced options dialog;
  4. Don’t let Xenu hit any URLs that delete or change something!

27. How about a WAP version?

Xenu does check .wml files since February 2001.

28. What about these error codes?

I identify only a subset of all possible error codes in the «Status» column. If you get an unknown error code in the Xenu application window, you can scroll to the right for an explanation text.

More information:

29. Why do I get broken links with filelist.xml, editdata.mso and oledata.mso?

Because Microsoft creates these broken links 🙁 Don’t bother with them, or read Knowledge Base article Q219694: Saving Office HTML File to a FrontPage Web Results in a Broken Hyperlink. Or try this tool: Office 2000 HTML Filter 2.0

You can also get rid of the problem by excluding them in the advanced options dialog.
Xenu will exclude URLs that end with /filelist.xml, /editdata.mso and /oledata.mso. (This feature has been available since Version 1.2g)

30. Why do I get «file not found» on remote checks?

There may be several causes for this:
  • Your Internet Explorer isn’t working properly, or is in offline mode, or is blocked by your firewall. Enter the URL you want to check into IE and see if it works.
  • One user got it working by starting Internet Explorer first, and then starting Xenu. I believe that the cause is a broken setup of Windows, or of Internet Explorer.
  • Your temporary directory is full: enter %TEMP% (not «c:\temp» !) into the Windows Explorer, check if there are many TGH*.* files, and delete them.

31. Can I make a foreign language version?

No, please don’t. There’s no guarantee that any of the message texts will be kept in the next version. The other problem is that I didn’t write the software in a way to be language-independent. I could have done it — but I think most people on the web do understand english.

32. Why isn’t Xenu detecting missing URLs?

A web server should return HTTP error 404 for non-existant URLs. Some servers are poorly configured: some redirect to an existing URL with an error message (bad!), others do show an error page, but the server doesn’t return the 404 error (very bad!).

One user had the problem that his Microsoft IIS server didn’t return the 404 error. He found help on this page, and then sent me his solution, which only works in .ASP under IIS:

    <%@LANGUAGE="VBScript"%>
    <% Response.Status = "404 Not Found"
    On Error Resume Next 'important in an error page to prevent another error
    strTarget = Request.ServerVariables("QUERY_STRING")
    strReferer = Request.ServerVariables("HTTP_REFERER") %>
    <HTML><BODY>The page doesn't exist, sorry dude!<BR></BODY></HTML>
The Apache web server has a different (and better) method of doing the same thing using native HTML code for the webpage. You simply set the correct config items in the http.conf file on your box.

Another user with Apache attributed the unwanted redirection to this line in the .htaccess file:

ErrorDocument 404 http://www.host.com/404.html
and he solved it by making this change:
ErrorDocument 404 /404.html
Now he gets a correct 404 error code which includes a tailored error page and no redirection. He read about it here.

33. Running Xenu with Norton Internet Security

A user had trouble to use Xenu with Norton Internet Security 7, and got error 12007 (no such host). After he added Xenu, it worked. This is what he did:
  • added Xenu by opening Norton Internet Security by double clicking the Norton «Globe» Icon
  • In right side panel, «Personal Firewall», Click CONFIGURE
  • In the Personal Firewall pop-up, Click PROGRAMS
  • In PROGRAM CONTROLS MENU
    • Settings for — «Home (Active)»
    • click «Turn on Automatic Program Control» box
    • Under «Manual Program Controls»
    • Scroll to «Xenu.exe»
    • Click Xenu once to Highlight it
    • Click MODIFY
  • in the pop-up:
    • Click PERMIT
    • Click OK
    • Click Ok again
  • Run Xenu

34. Why timeouts?

This is difficult to answer. The cause might be network overload; it might help to set a lower amount of threads, or to fine-tune the DoS detection of your firewall. Check your firewall logs to see whether it detected a «SYN flood» DoS attack by you. SYN is the first data packet that is sent to a host when starting a connection. Theoretically, Xenu might send up to 100 SYN packets that are not immediately answered, so a firewall (that counts «unanswered» SYN packets) might think something «evil» is going on. My firewall box once claimed to have detected a SYN flood when I opened many newspaper articles in background browser windows.

35. Any Spyware, Adware, Malware?

This software exists since 1997 and never had any type of malware. It does not «phone home» or return any statistics to me. There are random «ads» in the HTML report for causes I support; however I don’t get paid for this. Any passwords that you enter in the software (e.g. for orphan search) are not «remembered» after you close Xenu, nor are they passed to me.

Some debug output is stored in the file XENULOG.TXT which you will find in your %TEMP% directory. That file does not contain any passwords and it is used for support (I will sometimes ask you to attach it to an e-mail to me), primarly for problems with the launch of URLs in your browser (especially the report). The file is human-readable, so feel free to have a look. The file is not sent to me by Xenu, it just remains there and you can delete it if you wish.

Here’s a green review by McAfee Siteadvisor about Xenu’s Link Sleuth. Note that until before July 11 2008, Yahoo Search (which uses input from McAfee SiteAdvisor) was redflagging every URL of the whole snafu.de domain, including my user site (this seems to have been corrected now). McAfee SiteAdvisor has redflagged the snafu.de domain, but not the user pages. This was related to three downloads (CuteFTP, GoZilla and Nok2Phone) on the customer support ftp site of snafu.de, who has been my ISP for over a decade. These downloads have been removed since then and both Yahoo and McAfee have been notified. On July 30 2008, I noticed that the snafu.de domain has been greenflagged.

As of 22.8.2009, I was told by a user that Trend Micro Internet Security was redflagging this web page as «Dangerous», because Xenu is a «generic trojan». Such false positives are not an isolated problem, other people have had the same complaint. On August 27 I talked on the phone with a very friendly human from Trend Micro. He explained to me that his software wrongly considers mine to be «another antivirus software» because «it searches» (sure it does!), and that he installed the software on a test machine and understand it is harmless. He promised to «contact the lab». But after that, I was asked to make another support message on another web page, and nothing happened after that, but I haven’t had complaints from any more Trend Micro users since then.

As of 30.10.2009, a McAfee Antivirus product claimed that my product is a «Trojan — Artemis». (McAfee describes this problem: «Artemis» & Other Possibly False Detections) After several complaints, it seemed that the problem had been solved with version 5836 (tested 18.12.2009). As of 21.6.2010, McAfee did it again with the new version 1.3.7, and later with 1.3.8. Despite contacting them, there was no reaction. After finding a different contact page for false alarms, McAfee contacted me the next day (on 14.10.2010) and told me that the false Artemis detection had been removed.

On 21.11.2010, a user of Avira Webguard told me that my download URL was blocked. I found out that it was not blocked by the free antivurus product. After a complaint, it was unblocked two days later.

To put any such «alerts» into the correct perspective, upload any Xenu.exe file to www.virustotal.com, which will check the file against 30 antivirus products.

I’m not the only one «suffering» from this type of libel. Read this blog post by nirsoft.net Antivirus companies cause a big headache to small developers, or this blog by Bill Pytlovany McAfee Continues to Harm WinPatrol Users. This SARVAM blog entry shows that many AV products consider windows system files to be malware when packed.

If you have any more questions about security, don’t hesitate to contact me. If you want to report a bug, click here.

36. How about wildcards in the inclusion and exclusion lists?

This is available but not in the general version. Download it here, however, this may not always be the latest version. Just enter something with a «*» instead of an URL, e.g. «*print*» to exclude an «easy print» version of a web page. Note that only «*» is supported; «?» is not, nor are «regular expressions» (because an average user won’t understand the concept). Also, don’t forget the «*» at the beginning and the end of the URL, unless you want the expression to be a prefix or a suffix.

37. What about CSS?

Styles and CSS files has been supported since version 1.3.8.

Attention: Similar to HTML URLs, the CSS URLs must be «internal» to the root URL, or be added to the inclusion list in the initial dialogbox. For example, if your root URL is http://www.host.com/stuff/ and your CSS URL is http://www.host.com/css/standard.css, then it won’t work — you should then add http://www.host.com/css to the inclusion list.

38. Running Xenu with Norton Security Scan

One user complained that the software was using up all windows handles (32000) on Windows 7 32 bit, and after that he kept getting «no connection». The same happened with browser access. The user told me that it was a new PC. I warned him that new PCs often have some stuff pre-installed. The cause was Norton Security Scan. After deinstalling it, Xenu ran smoothly with 300-600 handles. Apparently, this product isn’t just a scanner, but also a «live watcher», and the product doesn’t free its resources properly.

39. Why are there changing Session-IDs?

Xenu has cookies disabled by default. Thus, if the web server tracks sessions, this would have to be done through the URL. If the session ID constantly changes, then it means your application or your server software is buggy. A properly programmed server does URL rewriting automatically when needed.

To prevent having a new session generated for each new URL, all internal links must be generated dynamically.

In Java servlets, this is done with HttpServletResponse.encodeURL(), which will either change the URL or leave it as it is, depending on wether cookies are enabled or not.

In JSP, you should use the JSP Standard Tag Library (JSTL):

<a href=»<c:url value=’fun.jsp’/>»>Click here for fun</a>

of course you can still do it the hard way, with a scriptlet:

<a href=»<%=response.encodeURL(«fun.jsp»)%>»>Click here for fun</a>

In JSF, you should use the HTML tag library:

<h:outputLink title=»fun title» value=»fun.jsf»>Click here for fun</h:outputLink>
or
<h:link value=»Click here for fun» title=»fun title» outcome=»fun.jsf» />

If you use .php, you should use the SID constant. The manual explains how.

40. Problems in Israel

There is a problem with hebrew websites that happens only on computers with hebrew windows, if the character ת (tav — looks somewhat like PI) is used in URLs. This should be converted to %D7%AA, but is converted into %D7%D7 instead, and only in Israel and not «here» (in Germany).

A fix will be in version 1.3.9. If you can’t wait, use the current beta. Thanks, Yosi!

41. Using an external authentication server

If you are using an external authentication server (e.g. «Sun Access Manager»), make sure that when successful, it doesn’t redirect to an URL that has already been checked by Xenu (and is the one that redirected to the authentication server URL in the first place!).

Alternatively, use the authentication URL (e.g. http://auth.host.com/blah/blahRedirect_WL.jsp?goto=http%3A%2F%2Fwww.host.com%2F.wlforward) as the root URL, and include the «real» root URL (here: http://www.host.com) in the initial dialog box.

42. Running Xenu against the Tomcat server can cause it to hang

I experienced this myself — the cause was a deadlock in log4j. Log4j is usually great, but deadlocks can happen «by design», see this long running ticket and this blog post. The proof that log4j was the cause is that it didn’t happen when logging was set to OFF.

One cause were two JSF Beans that were not serializable. Another was an error message by tomcat about an aborted GET access on /Context/faces/javax.faces.resource/jsf.js?ln=javax.faces». The later cause has been removed in 1.3.9.

43. Why does my page not have any outgoing links?

The following reasons have been observed:
  • The URL is considered external. Note that http://www.host.com is external to http://host.com and vice-versa.
  • A page contains javascript only. You can use the excellent software Fiddler to see what your server delivers to you.
  • A page is delivered to Xenu differently than to a browser. That, too, can be investigated with Fiddler.
  • A page is in 16 bit Unicode (utf-16, which has 2 bytes per character). Xenu does not support this. It is highly unusual, but not illegal. In firefox, you can click on a page with the right mouse key and choose «view page info». If it mentions utf-16, use NOTEPAD to save your page to a different charset (ansi or utf-8). Your page will also have about half the size than before.

Bug List

The software works pretty well, but here the list of things that shouldn’t be.
  • the thread count is sometimes incorrect if the maximum is changed while active
  • the thread count is sometimes incorrect at the end of the session
  • The </A> closing tag must not have spaces or newlines inside
  • leftover TGH*.* files in the %TEMP% directory
  • weird effects when INI file >64K (happens on Windows XP, but works fine on Windows 7 64 bit)
If you find another bug, e-mail me a description, please include the URL you are checking, and if possible try to save your work in a .XEN file and attach it (If it is larger than 1 MB, ZIP it first). Also check http://windowsupdate.microsoft.com to make sure that your system has all the updates. If you want to e-mail a suggestion, click here. You can also join the user group by sending an e-mail to [email protected]

Future feature List

Things I will do in the future (maybe when hell freezes over!):
  • ROBOTS.TXT support
  • Detect remote loading of images (geocities sabotages this)
  • Solution for leftover TGH*.* files in temp directory
  • Command-line parameters (actually, this has already been done, for a client who agreed to pay my development time to two people I support. If you need something similar, e-mail me, the price is a $300 donation to be sent to a person I support)
  • Names of last checked URLs in also file menu
  • Automatic saving every minute
  • A correctly working «Update» feature that rechecks changed sites (tricky, so I will never do it)
  • Ideas from Chris:
    • What about identifying how many steps it takes to reach a particular page from the home page and how much kb had to be downloaded before one could reach there.

    • [TH: useful e.g. to which steps a user must take to reach the page of a particular product]
  • Read RFCs
  • Your suggestions: e-mail me also if there is something of the above you’d like to have, and persuade me to do it. If you want to report a bug, click here.

The Story of Xenu’s Link Sleuth(TM)

(for fellow software developers)
In April and May 1997 my employer assigned me on an out-of-town job, because another department needed a guy with MFC experience. So from monday to friday I was away, and on the evenings I was bored to death. Every week-end I was back home, and I usually checked my web site for broken links with WebAnalyzer. Sadly the software had a lot of bugs, and their support was ignoring my e-mails, and I was mad as hell, as I had spent quite a lot of money on a product that wasn’t worth it. My job was also the first contact with VC++ 4.2 (previously I had only worked with VC++ 1.5, because our customers have a lot of 16bit systems), which had some easy-to-use Internet access classes. I had already experience with WINSOCK programming, but these classes would spare me a lot of time evaluating HTTP result headers and other annoying stuff. On an evening after an excellent italian food with a good chianti I took some hotel letter paper and wrote down a concept for checking links. A month later I took some time to install the development software on my computer and started working, with the help of that hotel-room concept. The work was done on some evenings, but mostly on week-ends, when I had more time.

My philosophy on software development has always been «smaller, simpler, cheaper», long before the NASA realized this (in May 2002 I was told that the actual NASA philosophy was Faster, Better, Cheaper — oops!) Because of that, I need no fancy (but totally useless) graphics like in WebAnalyzer. Just results. And they’d better be 100% correct or I’d have to kill myself 🙂

The application is written in Visual C++, and uses the MFC classes as much as possible: CDocument, CView, CListView, CObArray, CMapStringToOb, CArchive, CInternetSession, CHttpFile, etc, etc. That saved me a lot of time! 


Credits

Original icons in EXE file: Martin Hunt and Paul Campbell; Icon on web page: Erik Plummer; Idea to use banners in report: Marc Cross; Xenu logo button: Fred C.; second Xenu logo button: Charles A. Upsdell; Volcano animated cursor: Juan C. Pradas-Bergnes; Idea & help with SMTP integration: Mark Findlay; SMTP class: P.J. Naughter; Xenu artwork: William C. Chenoweth; WinHelp version of documentation: Andrew Schoenhofer; Regular Expressions: Henry Spencer and Guy Gascoigne; Install and deinstall: Inno Setup NSIS with help from Andrey Aleksanyants; help with Xenu banner: Bruno Zacke; wildcards: Jack Handy; sort icons for list columns: Thomas Holte; new Xenu icon in May 2008: Dominic Raths of Hitflip.de; Idea and code for GraphViz: Kevin Niehage; Current HTML Help (CHM) version of documentation: Andrey Aleksanyants; .jar listing: Arcangelo Bruna; Resize Dialog: Torben B. Haagh; Help with «the Hebrew problem»: Yosi; Internationalising Domain Name conversion: Gisle Vanem and Adam M. Costello; duplicate content detection: RSA Data Security, Inc. MD5 Message-Digest Algorithm; gzip content decompression: zlib; sitemap tree css: Ross Angus.

Links for further reading

Trademarks

Xenu, Xenu’s Link Sleuth and Link Sleuth are trademarks used by Tilman Hausherr for software products and services. These products are not associated in any way with services licensed by RTC, CoST, BPI, CSI, etc.


Home | $cientology | Magic | Mozilla | Tilman | Deutsch | Bookstore

tilman at snafu dot de

Xenu (Xenu’s Link Sleuth) – что это за программа, для чего нужна

Xenu Link Sleuth– бесплатная англоязычная программа для быстрого SEO-аудита сайта.

Основной функционал сервиса

  • Поиск битых ссылок на сайте,
  • Составление карты сайта,
  • Поиск страниц с медленной загрузкой,
  • Поиск неуникальных заголовков страниц,
  • Поиск страниц с большим уровнем вложенности (более 3-х кликов от главной страницы),
  • Поиск страниц с большим количеством исходящих ссылок,
  • Проверка внутренней перелинковки,
  • Поиск картинок с незаполненным атрибутом alt.

Xenu формирует отчеты как в собственном файловом формате, так в текстовом для дальнейшего экспорта в Excel.

Как работать с Xenu

Программа является свободно распространяемой, и можно скачать Xenu с любого понравившегося сайта.

После установки программы на компьютер можно начинать проверку ресурса.

Для начала работы нужно выбрать в верхней панели слева значок «Check URL»:

В появившемся окне в самое первое поле вводим нужный URL либо выбираем файл с компьютера:

Галочка «Check external links» означает, что сервис также проверит внешние ссылки на сайт, поэтому ее лучше не снимать.

Блок «Include/Exclude» позволяет добавлять URL или наоборот исключать из проверки.

Если нужна не полная проверка сайта, можно выбрать, что включить в итоговый отчет, нажав на кнопку «More options»:

  • Ползунок «Parallel threads» задает количество синхронных (параллельных) запросов.
  • Галочка «Apply to all jobs» позволяет сохранять настройки для всех проектов.

Также после проверки можно отправить отчет на email:

Как только все нужные поля и опции заполнены, можно нажимать «ОК», запуская проверку сайта.

Данные в появившемся отчете можно сортировать с помощью табуляторов вверху, что позволяет быстро получать самую разную информацию:

  • Сортировка по «Status» поможет найти битые ссылки.
  • Сортировка по «Type» покажет изображения без атрибута alt.
  • Сортировка по «Size» найдет самые тяжелые страницы.
  • Сортировка по «Title» покажет страницы с дублированными заголовками.
  • Сортировка по «Level» позволит просмотреть вложенность страниц сайта.
  • Сортировка по «Out Links» покажет количество исходящих ссылок с той или иной страницы своего ресурса (узнать, на какие именно страницы проставлены ссылки, можно из контекстного меню).
  • Сортировка по «In Links» покажет количество входящих ссылок на любой документ своего ресурса (узнать, откуда ссылки, можно из контекстного меню).

В результате проверки Xenu также формирует HTML-отчет, где представлена информация по битым ссылкам и карта сайта:

Битые ссылки. Программа Xenu Links технический аудит сайта

Всем привет! Сегодня я буду проверять свой блог SEO-Mayak.com на битые ссылки.

Многие веб-мастера для этих целей используют плагин WP Broken Link Checker, да и Ваш покорный слуга, до недавнего времени пользовался данным плагином.

Но время бежит и все меняется, а мы растем и развиваемся. Наткнувшись на программу Xenu Links я забыл про плагин раз и навсегда, так как эта программа умеет не только искать битые ссылки, но также проводит внутренний технический аудит сайта.

Что включает в себя технический аудит? Не спешим! Я все разложу по полочкам, а Вам только нужно дочитать статью до конца.

Начну с того, что как и обещал, я собирался писать статью про ручную внутреннею перелинковку. Но в процессе понял, что перед обзором столь важной и обширной темы, необходимо рассказать о битых ссылках, которые могут свети на нет все усилия по распределению статического веса между страницами.

Если поисковый робот обнаруживает на страницах битые ссылки или хуже того, ссылки ведущие на ресурсы, находящиеся под фильтрами поисковой системы, то статический вес таких страниц существенно занижается.

Давайте поближе познакомимся с программой Xenu Links.

Где скачать и как работать с программой Xenu Links

Программа совершенно бесплатная и чтобы скачать ее с сайта разработчика надо перейти по этой ссылке.

Нажимаем на строчку «Download» и нас перебросит на другую страницу:

Плюс — это полная совместимость со всеми версиями Windows, минус — англоязычный интерфейс.

С установкой я думаю сложностей возникнуть не должно, поэтому переходим сразу к запуску программы.

Запускаем Xenu Links и на откроется пустое окно:

Открываем меню настроек с помощью действий, показанных на сткриншотах или простым нажатием клавиш Ctrl+N:

Вписываем URL проверяемого сайта. Если оставить галочку возле пункта Check extemal links, то программа проверить все исходящие ссылки. Если снять галочку — программа проверит только внутренние URL.

Local file —  позволяет открыть для проверки файлы, расположенные на Вашем компьютере.

Consider URLs beginning with this as ‘internal’: — добавить URL к списку проверяемых, которые будут считаться внутренними. Например:

http://forum.site.com

Do not check any URLs beginning with this: — исключить URL из списка проверяемых.

e-mail… — возможность отправить отчет на E-mail используя SMTP-Server.

e-mail report and quit when done — отправлять отчет по почте сразу после окончания проверки.

e-mail only if there are broken links — отправлять отчет только в том случае, если обнаружены битые ссылки.

  1. Parallel Threads — параллельные потоки. Количество одновременно проверяемых ссылок. По умолчанию стоит 30 потоков, больше ставить не стоит, чтобы не нагружать сервер, да и отчет может быть некорректным.

Maximum depthглубина просмотра. Имеется ввиду максимальная глубина вложенности страниц, на которую будет распространятся проверка. Цифра 999 конкретный  перебор, можно нечего не менять.

  2. Ask for password or certificate when neededзапрашивать разрешение на проверку защищенных страниц. Речь идет о протоколе https://.

Treat redirections as errorsсчитать редиректы ошибкой. Галочку лучше не ставить!

  3. Broken links, ordered by links — сортировка битых ссылок по URL адресам.

Broken links, ordered by page — упорядочивание битых ссылок по страницам.

Broken local links — искать внутренние битые ссылки.

Redirected URL’s — искать редиректы (301/302).

FTP and gopher URL’s — искать не http адреса.

Valid text URL’s —  определять действительные (не битые) URL адреса.

Site map — отобразить в отчете карту сайта.

Statistics — отображать статистику.

Orphan files — искать файлы-одиночки (файлы на которые нет ссылок).

Ставим галочки, где считаем нужным, жмем ОК  и программа начнет проверку ссылок исходя из заданных параметров.

Находим битые ссылки и проводим технический аудит сайта. Возможности Xenu Links.

Технический аудит сайта может занять несколько минут. Все будет зависть от заданного количества потоков, скорости интернет соединения, загруженности сервера и количества проверяемых страниц.

В первую очередь нас интересую битые (нерабочие) ссылки, выделенные красным цветом.

Для того чтобы сгруппировать все битые ссылки в самом начале отчета, а не искать их среди прочих, нажимаем мышкой на табулятор Status:

Вот какие битые ссылки я нашел на своем блоге, аж 14 штук. Немного разъясню что означают разные статусы:

forbidden request — запрещенный запрос. В одной из своих статей я сослался на Википедию и вроде сделал все правильно. Скопировал URL нужной мне страницы с адресной сроки браузера и вставил в ссылку, но не обратил внимание на регистр.

Чтобы посмотреть в какой записи находится битая ссылка, выделяем строчку и нажатием правой кнопки мыши вызываем меню:

Выбираем URL properties и  нам откроется вот такое окошко:

На скриншоте видно как выглядит битая ссылка, кстати она вполне рабочая, только вот заглавные буквы в URL недопустимы!

no connectionнет связи с сервером.  Надо уменьшит количество потоков и повторить проверку.

no such host — такого URL адреса не существует.

not foundURL не найден.

Идем дальше. Табулятор Type позволяет сгруппировать файлы с одинаковым расширением:

Size — возможность отсортировать ссылки страницы или файлы по их весу:

Имеется в виду вес в Кб. Например, можно определить самые тяжелые изображения на сайте, которые существенно снижают загрузку страниц и сжать их. Кто не умеет  сжимать изображения, советую почитать статью Оптимизация изображений.

Title — группирует ссылки по одноименному мета тегу:

Позволяет легко выявить дубли контента, а также определить страницы не имеющие заголовка Title. Но есть существенный недостаток, некоторые заголовки отображаются в виде кракозябр.

Date —  отображает дату и время появления той или иной ссылки.

Level — позволяет определить степень вложенности страницы, на которой расположена ссылка.

Qut Links — показывает количество исходящих ссылок, расположенных на определенной странице.

In Links — Количество входящих ссылок, ведущих на определенную страницу.

Отчет Xenu Links позволяет найти не только битые ссылки, но и множество разных ошибок и на мой взгляд технический аудит сайта с помощью Xenu Links просто находка для любого веб мастера.

Если возникнут вопросы по теме, постараюсь всем ответить в комментариях.

На сегодня у меня все. Как Вам статья?

С уважением, Виталий Кириллов

Выявляем нерабочие ссылки на своем сайте с помощью Xenu Link Sleuth

Выявление нерабочих ссылок на своем сайте с помощью плагинов WordPress может привести к интенсивному использованию серверных ресурсов и в итоге отразиться на производительности сайта. Плагины, такие как Broken Link Checker, на некоторых хостингах ограничены в своем применении, поскольку они создают проблемы с производительностью. К счастью, существуют бесплатные программы, позволяющие разгрузить сервер и перенести процесс проверки ссылок на локальный компьютер. Xenu Link Sleuth – одна из таких программ. Выпущенная в 2010, программа Xenu Link Sleuth совместима с Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7.

После установки программы на свой компьютер введите адрес сайта, который вы хотите проверить. Проверка ссылок выполняется для стандартных ссылок, изображений, фреймов, плагинов, фонов, локальных карт, стилевых таблиц, скриптов и java-апплетов. Программа выводит на экран постоянно обновляющийся список адресов, который вы можете отсортировать по разным критериям. Отчеты могут быть сгенерированы в любое время. Поскольку большая часть обработки производится на компьютере, все происходит гораздо быстрее и не затрагивает базу данных для хранения результатов. Еще одно преимущество программы – в отличие от онлайн-сервисов, вы не ограничены в максимальном количестве ссылок, которые могут быть проверены.

При генерации отчета для сайта WPTavern.com, Xenu проверил более 10 000 ссылок. Зеленый текст говорит о том, что никаких ошибок не произошло, в то время как красный цвет указывает на проблему. В моем случае это обычно означало, что изображение не было найдено. Поскольку отчет может состоять из тысяч ссылок, Xenu Link Sleuth предлагает возможность просмотра только нерабочих ссылок.

Несмотря на то что Xenu Link Sleuth не работает в Mac, программа под названием Integrity доступна для Mac OS X Mavericks. Она была недавно обновлена для поддержки Mavericks и ретина-дисплеев.

Хорошая практика или пустая трата времени?

С помощью Xenu Link Sleuth я нашел сотни неработающих ссылок из тысяч ссылок, находящихся в архивах WPTavern. Я не знаю, нужно ли их исправлять. Битые ссылки – часть естественного жизненного цикла сети. С одной стороны, я хочу, чтобы каждая существующая ссылка на моем домене работала корректно. С другой стороны, я чувствую, что с изменением ссылок я изменю историю. Должен ли я исправлять ссылки только за определенный промежуток времени? Как часто вы проверяете наличие неработающих ссылок на своем сайте? Какие программы или сервисы вы используете для этого?

Источник: wptavern.com

Проверка и контроль URL сайта. Программа для проверки URL – Xenu`s Link Sleuth.

 

 

 

Если сайт состоит из большого количества страниц, то проверка URL сайта может превратиться в невыполнимую рутину для оптимизатора. Чтобы минимизировать временные затраты, можно воспользоваться специальными программами. Один из таких инструментов, который наверняка знаком опытным специалистам, – программа Xenu`s Link Sleuth. 

Чтобы проверить сайт, необходимо открыть новый проект, выбрав в меню «File» «Check URL», ввести адрес и нажать «OK». После этого программа начнет обработку всех URL сайта. По окончании проверки нужно экспортировать полученные данные в любой удобный редактор и начать поиски дублей.

По результатам исследования заданного  URL сайта Xenu выдает HTML-отчет.

Он очень подробный и состоит из нескольких разделов:

•             Неработающие ссылки, отсортированные по адресам (URL).

•             Неработающие ссылки, отсортированные по страницам, на которых они встречаются.

•             Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.

•             Ссылки протоколов FTP и Gopher. Xenu, к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.

•             Список страниц, которые можно сообщить поисковым интернет-системам для индексации.

•             Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега <TITLE>.

•             Неработающие внутренние ссылки, то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут «в никуда».

•             Список файлы-сирот (orphan).

•             Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

Находим битые ссылки с помощью программы Xenu’s Link Sleuth

Битая ссылка – это ссылка, которая делает переход на не существующую страницу сайта, изображение или документ. Сразу появляется сообщение – страница не найдена (ошибка 404). На сайте могут присутствовать внешние ссылки на сторонние ресурсы.

Интернет ни дня не стоит на месте – все меняется, появляются новые и новые блоги, сайты, картинки и т.д. Ровно столько же исчезает или удаляется внешних источников, поэтому переход по ссылке никуда не приведет. Внешняя ссылка становиться битой.

Следовательно, нужно проверить сайт на битые ссылки, ведь не всем пользователям понравиться тратить свое время на поиск нужной информации, а потом увидеть сообщение о том, что запрашиваемая страница не найдена или не существует.

К чему может привести наличие на сайте битых ссылок?

1. Очень негативно реагируют на битые ссылки поисковые системы, в частности Яндекс и Google. Этот «мусор» снижает позицию сайта в поисковой выдаче. Если на сайте несколько таких ссылок – ничего страшного, а если счет идет на сотни?
2. Второе – это уменьшает посещаемость страницы. Если посмотреть на проблему глазами пользователей, то кто захочет потратить уйму времени на поиск нужного документа, изображения или еще чего-нибудь, а потом попасть на станицу с «ошибкой 404». Наверное, любой из нас закроет данный сайт с разочарованием и больше не вернется сюда.

Как проверить сайт?

Для того чтобы решить проблему, нужно проверить битые ссылки на интересующем ресурсе. Для данной задачи можно воспользоваться одной из специальных программ, например Xenu’s Link Sleuth. Данная программа качественно и быстро выполнит поиск всех битых ссылок.

1. Скачиваем программу Xenu’s Link Sleuth.
2. После установки открывается окно программы, где в меню File нужно выбирать пункт Check URL:


3. В окошке вводится адрес нужного сайта, для которого будет выполнена проверка битых ссылок. Устанавливается флажок напротив пункта «Check external links». Нажимается кнопка «ОК»:
4. Программа выполнила проверку на битые ссылки на сайте. Они отмечены красным цветом:
5. Выполняется проверка битых ссылок на сайте. Для того чтобы удобнее было просматривать результат, в программе сортируют результат – нажимают на столбик с названием «Status». Все битые ссылки отсортированы по порядку – они красного цвета:
6. Программа Xenu’s Link Sleuth имеет много опций, поэтому можно найти не уникальные названия всех страниц проверяемого сайта – нажимают на столбец с названием «Title». В результате показаны все дубликаты названий:
7. Для активного сайта не желательно, чтобы страницы и изображения на нем имели большой вес. Это помешает загружать станицу тем пользователям, у которых нет хорошего подключения к интернету. Для поиска проблемных мест, нажимают столбец «Size»:
8. Проверяют программкой и количество страниц, которые ссылаются на данную страницу – кликнуть нужно по «In Links»:
9. Узнают число исходящих ссылок на страницах сайта, выбирая столбик «Out Links»:
10. Для того чтобы узнать вложенность страницы на сайте – есть столбик «Level», который показывает уровень страницы:
11. Чтобы сайт чаще выбивался в результаты поиска, нужно чтобы все изображения были с названиями. Поэтому находят такие изображения, кликая по столбцу «Type».
Удачи Вам!

Бесплатная программа Ссылки на Xenu Sleuth находят поврежденные ссылки и изображения веб-сайтов 2021

Ссылки — вот что делает World Wide Web web — но сломанная ссылка не ловит мух, или что-то в этом роде. Ручная проверка ссылок на любом сайте, превышающем одну страницу, может быть утомительной в лучшем случае и, безусловно, подвержена ошибкам. Автоматическая проверка ссылок — это путь, и когда есть бесплатный инструмент с почти десятилетним развитием за его пределами, это достойное дополнение к любому арсеналу веб-разработчика. Xenu Link Sleuth — такая программа.

Xenu покажет все ваши сломанные ссылки, в том числе ссылки, которые вы даже не знали о вашем веб-сайте.

Xenu’s — мощный, бесплатный инструмент проверки ссылок. Просто дайте ему базовый URL-адрес и отпустите его — он вернет длинный, длинный список ссылок, сломанных или нет, на целевом сайте. Он также может найти то, что вы не можете себе представить как «ссылки» — например, ссылки на графику, встроенную в веб-страницы, одну из банов любого веб-разработчика. В конце концов, что говорит, что сайт «Shoddy 1990-х годов» лучше, чем страница, полная разбитых графических ссылок? Ссылка Xenu Link Sleuth дает легко читаемый отчет, показывающий статус каждой ссылки, и вы можете дважды щелкнуть любую запись, чтобы запустить эту ссылку в своем браузере. Вы также можете открыть диалоговое окно «Свойства», чтобы получить дополнительную информацию о ссылке, включая ссылки на другие страницы на сайте.

Ссылка Sleuth может быть сложной на вашем веб-сервере, так как она будет отправлять запросы на страницы Форсаж. Это может привести к тому, что некоторые ссылки будут помечены как сломанные для ошибок тайм-аута, когда на самом деле это не так. Можно настроить Xenu на использование более длинных значений для тайм-аута или отправить меньше одновременных запросов на страницы. Разработчик содержит довольно подробный FAQ, в котором рассматриваются некоторые другие распространенные проблемы и проблемы.

Хотя основной целью Xenu является проверка ваших собственных ссылок, конечно, нет ничего, что предотвращало бы его запуск на сайтах, в которых вы не владеете или не управляете , Хотя, очевидно, вы не можете исправить неработающие ссылки на сайтах других людей, это хороший способ получить обзор сайта. (Его также можно использовать, чтобы увидеть, есть ли ссылки на ваш контент на сайте, например.)

Свободный, быстрый и функциональный — очень сложно победить эту комбинацию. Xenu Link Sleuth — отличное дополнение к любому инструментарию веб-разработчика.

Xenu’s Link Sleuth — Загрузите

Найдите и исправьте неработающие ссылки на вашем сайте

Xenu’s Link Sleuth — это программа для сканирования веб-страниц, которая проверяет наличие битых ссылок на сайтах. Приложение для проверки ссылок, разработанное Тилманом Хаушерром, ищет все URL-адреса, изображения, фоны, фреймы и карты, представленные на веб-сайте, чтобы пользователи могли отсортировать их по предпочтительным критериям. Link Sleuth от Xenu может тестировать веб-сайты FTP, gopher и SSL. Программа довольно мощная, работает быстро и доступна всем пользователям бесплатно.

Что такое Сыщик Связи Ксену?

На первый взгляд неработающие URL-адреса на вашем веб-сайте могут показаться не такими уж плохими. Но они могут серьезно повлиять на рейтинг в поисковой системе, качество обслуживания пользователей и репутацию вашей компании в Интернете. Чтобы избавиться от них или исправить их, вы должны сначала найти все ссылки, которые больше не работают. Выполнение этого вручную может не только занять много времени, но и привести к ложным результатам. Вместо этого лучше взглянуть на такие приложения, как Xenu’s Link Sleuth.

Разработанное для Windows приложение проверки ссылок проверяет сайты на наличие неработающих URL-адресов, стандартных ссылок, подключаемых модулей, сценариев, изображений и карт.Программа обновляет список найденных ссылок в режиме реального времени, чтобы вы могли быстро решить любую возникающую проблему. Xenu’s Link Sleuth поддерживает как SSL, так и FTP-сайты и сообщает обо всех неработающих и перенаправленных URL-адресах.

Простой интерфейс

Xenu отличается понятным интерфейсом с раскрывающимися меню и четко обозначенными значками. Более того, вам, , не нужно быть технически подкованным или изучать язык программирования, такой как Java, для работы с программным обеспечением. Все, что вам нужно сделать, это нажать на опцию «Файл» и вставить URL, который вы хотели проверить.Вы даже можете проверить файлы, доступные в вашей системе, чтобы вы могли проверять ссылки, используя различные критерии сортировки, перед загрузкой любой страницы на свой сайт.

Удобный для новичков интерфейс Xenu’s Link Sleuth упрощает проверку нескольких уровней ссылок без особых хлопот. Когда вы вставляете ссылку, появляется всплывающее окно, позволяющее установить уровни сканирования пауком. Каждый добавляемый уровень увеличивает общее время обработки. Тем не менее, программа по-прежнему работает быстро и может проверить до 100 ссылок менее чем за минуту.

Что делает Ксену?

Когда вы запускаете загрузку Xenu’s Link Sleuth для проверки веб-сайта, он возвращается с легко читаемым, но длинным отчетом обо всех ссылках, имеющихся на сайте, как действующих, так и неработающих. Также включает страницы с 404 ошибками или неработающими перенаправлениями. Вы можете легко дважды щелкнуть любую ссылку, чтобы увидеть полученную страницу, или открыть диалоговое окно свойств, чтобы собрать любую дополнительную информацию.

Приложение проверки ссылок позволяет пользователям выбирать тип вывода, который им нужен.Вы можете вставить ссылку своего веб-сайта в программу и запросить список всех URL-адресов или только неработающих и перенаправленных. Поскольку программа продолжает проверять ссылки одновременно, программа постоянно показывает состояние всех ссылок. Если вы видите URL-адрес зеленым цветом, значит, он работает нормально. Если он красный, есть проблемы.

Ищите неработающие ссылки

Есть много задач, которые Xenu’s Link Sleuth может выполнять для общего рейтинга вашего сайта. Однако его основная цель — помочь вам, , быстро найти все неработающие ссылки и гиперссылки на вашем веб-сайте, и с ограниченным вмешательством вручную.Кроме того, программа позволяет вам находить неработающие ссылки на любом веб-сайте в Интернете, чтобы вы могли получить представление о том, как работают другие сайты, и узнать больше о лучших методах SEO-оптимизации ваших конкурентов.

Найдите тяжелые изображения

Добавление изображений на ваш сайт может сделать его запоминающимся, но также может увеличить время загрузки, что повлияет на пользовательский опыт и оценку SEO. Чтобы найти изображения с наибольшим размером файла и улучшить рейтинг вашего сайта, вы можете выбрать общий параметр сканирования Xenu.Он не только найдет все ссылки, но и позволит вам отсортировать их, используя столбец размера. Нажав на ссылку, вы сможете узнать, требуется ли оптимизация файла изображения.

Анализируйте архитектуру вашего сайта

Самое лучшее в использовании Xenu’s Link Sleuth — это то, что он предоставляет всю структуру URL-адресов вашего веб-сайта, включая ссылки на плагины, изображения, фоны, фреймы и карты изображений в загружаемом файле Excel . Он также перечисляет все показатели в столбцах и показывает количество кликов, которые необходимо выполнить с вашей домашней страницы на внутреннюю страницу.Это полезная информация, чтобы определить, получают ли внутренние страницы какой-либо трафик.

Насколько быстро работает Link Sleuth Ксену?

Xenu’s Link Sleuth использует модель вытесняющей многопоточности, в которой программа проверки ссылок одновременно открывает несколько веб-сайтов. Хотя эта версия программы поставляется с количеством потоков по умолчанию из 30 ссылок , вы можете обработать до 100 страниц за один раз. Проверка большого количества страниц одновременно может привести к тайм-аутам, поэтому вы должны быть осторожны при выборе максимального количества потоков.

Сколько URL-адресов может проверить Xenu Link Sleuth?

Когда вы загружаете Xenu’s Link Sleuth Windows 10, вам не нужно беспокоиться о максимальном количестве URL-адресов, которые программа может проверить. Это потому, что программа предлагает неограниченное использование . Количество ссылок, которые он может проверить, составляет около миллиона, что более чем достаточно для малых и средних организаций.

Есть ли альтернативы?

Xenu’s Link Sleuth можно загрузить бесплатно, и пользователям будет проще следить за своим сайтом.Тем не менее, это требует обучения для людей, которые никогда не работали с картами сайта и скриптами. Итак, если вы хотите проверить альтернативы, вы можете изучить HTML Link Validator, SEO PowerSuite Free, Web Link Validator, Fast Link Checker и Website Auditor.

Стоит ли мне скачать Xenu’s Link Sleuth?

Если вы ищете служебную программу для Windows, которая поможет вам отслеживать и управлять ссылками на вашем веб-сайте, вам следует загрузить Xenu’s Link Sleuth. Это простая в использовании программа с множеством функций, которые могут помочь вам улучшить SEO и рейтинг вашего сайта в поисковых системах.Это может помочь вам определить неработающие ссылки и тяжелые файлы, чтобы вы могли без особых хлопот внести необходимые изменения.

Часто задаваемые вопросы (FAQ) — Документация Xenu’s Link Sleuth

  1. Кто такой Ксену?
  2. Лучше ли Link Sleuth ™ от Xenu, чем WebAnalyzer?
  3. Является ли Link Sleuth ™ Ксену лучше, чем Net Mechanic?
  4. Могу ли я поддержать автора материально?
  5. Почему Xenu Link Sleuth ™ сообщает, что http://www.site.com/../page/index.html не работает?
  6. Как мне настроить прокси?
  7. Почему Xenu Link Sleuth ™ сообщает об URL с пробелом?
  8. Я использую Mozilla 3.0 Золото и не могу избавиться от file: URL для изображений. Что я могу делать?
  9. Какое максимальное количество веб-сайтов можно проверить?
  10. Может ли программа проверять мой сайт локально?
  11. Работает ли под Windows NT 3.51?
  12. Как это чертовски быстро?
  13. Можно мне исходный код?
  14. Могу ли я купить исходный код?
  15. Ради интереса я проверил веб-сайт Тилмана и обнаружил много неработающих ссылок. Почему?
  16. Как исправить битые ссылки?
  17. А как насчет ftp и gopher-сайтов?
  18. Почему я не могу запускать URL-адреса?
    1. Почему браузер не открывает новое окно?
    2. Почему Link Sleuth зависает при запуске отчета?
    3. Почему Link Sleuth зависает при запуске отчета или URL?
  19. А как насчет файлов cookie?
  20. Почему некоторые ссылки отображаются в Xenu как «неработающие», которые могут отображаться в моем браузере?
  21. Почему я не могу подключиться к «безопасным» (https) сайтам?
  22. Какие-нибудь известные проблемы с Windows 95?
  23. Какие-нибудь известные проблемы с Windows 2000?
  24. Почему я не могу настроить тайм-аут?
  25. А как насчет JavaScript?
  26. Как насчет паролей, введенных в ФОРМУ?
  27. Как насчет WAP-версии?
  28. Что насчет этих кодов ошибок?
  29. Почему у меня появляются неработающие ссылки со списком файлов.xml, editdata.mso и oledata.mso?
  30. Почему я получаю сообщение «файл не найден» при удаленной проверке?
  31. Могу ли я сделать версию на иностранном языке?
  32. Почему Xenu не определяет отсутствующие URL-адреса?
  33. Запуск Xenu с Norton Internet Security
  34. Почему таймауты?
  35. Любое шпионское, рекламное или вредоносное ПО?

1. Кто такой Ксену?

См. Здесь.

Вы хотите быть Рыцарем Ксену ? Затем присоединяйтесь к этой команде во всемирной работе по расшифровке ключей RC5-64, которая использует «время простоя» на тысячах компьютеров по всему миру.Вот как это сделать:

  1. Скачайте клиент.
  2. Настроить клиента:
    1. Выберите «1» («Общие параметры клиента»), затем выберите «1» («Ваш адрес электронной почты») и введите свой адрес электронной почты (без «<» или «(»), затем вернитесь к главное меню с "0".
    2. Выберите «2» («Параметры обновления буфера и буфера»), затем выберите «9» («Приоритет загрузки и работы»), затем нажмите клавишу возврата, чтобы удалить все, и введите «RC5, DES = 0, CSC = 0. , OGR = 0 «.
    3. Если вы находитесь за брандмауэром или используете коммутируемую линию, вам нужно будет выбрать «6» («Сервер ключей <=> Параметры подключения клиента»), чтобы настроить использование прокси-сервера или следить за набором номера. активная связь.Вернитесь в главное меню, дважды введя «0».
    4. Введите «0», чтобы сохранить настройки и выйти.
  3. Запустите клиента и посмотрите, как он работает.

Через день или два вы можете перейти на главную страницу статистики и ввести свой адрес электронной почты. Затем вы можете получить доступ к своей собственной странице статистики. Прокрутите вниз и нажмите «Отправьте мне мой пароль по электронной почте». Вы получите электронное письмо с вашим идентификатором и паролем. Теперь нажмите здесь, чтобы присоединиться к команде # 3504, и введите идентификатор и пароль, когда потребуется.

Пожалуйста, не участвуйте в этом проекте, если вы работаете на корпоративном компьютере без предварительного разрешения вашего руководителя и сотрудников службы безопасности.

Напишите мне, если у вас возникнут проблемы с RC5-64. Но сначала прочтите описание выше.

2. Является ли Link Sleuth ™ от Xenu лучше, чем WebAnalyzer?

Да и нет. Xenu’s Link Sleuth ™ не имеет графических возможностей WebAnalyzer 2.0 («вид волнового фронта»). Но вот некоторые из преимуществ Xenu’s Link Sleuth ™:

  • Бесплатно
  • Простой пользовательский интерфейс
  • Улучшенные отчеты об ошибках (не только «ошибка сети»)
  • «Сохранить» работает также, пока программа занята
  • «Просмотр неработающих ссылок» показывает только неработающие ссылки; В WebAnalyzer вам придется нажимать кнопку снова и снова, поскольку окно заполняется дерьмом.
  • Хотя Xenu не предлагает средства «обновления» (которое все равно не работает), у него есть функция «перепроверить неработающие ссылки», которая работает нормально.
  • Это небольшой документ, написанный одним человеком с 5-летним опытом разработки Windows и 15-летним профессиональным опытом разработки программного обеспечения. Это значит, что ошибки будут исправляться быстро. Это вопрос чести.
  • Отчет можно легко просмотреть, даже если у вас длинные URL-адреса.
  • Использует гораздо меньше места на диске для промежуточных файлов, исполняемый файл намного меньше
  • Загрузка сохраненных файлов намного быстрее (WebAnalyzer теряет время, отображая лишнюю графику)
  • Поддерживает веб-сайты SSL (« https: // »)
  • Частичное тестирование ftp и gopher сайтов
  • Поиск локальных сиротских файлов
  • Специальная обработка перенаправленных URL-адресов
  • Карта сайта
  • Рандомизация порядка проверки означает меньшее количество одновременных запросов на одном сервере

Xenu sez: проверьте свой веб-сайт как с этим продуктом, так и с другим продуктом (Linkbot, InfoLink, LinkScan, LinkAlarmand Web Link Validator предлагают пробные версии — WebAnalyzer больше не доступен с февраля 2002 года и не обновлялся годами) и решите, что вам нужно и сколько вы готовы платить.

3. Является ли Link Sleuth ™ Ксену лучше, чем Net? Механик?

Несколько лет назад Net Mechanic был бесплатным сервисом на основе WWW и был полезен для проверки очень маленьких веб-сайтов. Это уже не бесплатно. Бесплатная пробная версия слишком мала и сообщает обо всех ссылках, а не только о битых.

4. Могу ли я поддержать автора материально?

Не нужно. Если вы считаете, что программа полезна, вы можете пожертвовать деньги на цели, которые я поддерживаю.

  • Международная ассоциация исследований культов (ICSA) — некоммерческий, освобожденный от налогов исследовательский центр и образовательная организация, основанная в 1979 году.Миссия ICSA — изучать психологические манипуляции и культовые группы, обучать общественность и профессионалов, а также помогать тем, на кого негативно повлиял опыт, связанный с культом. Я предлагаю пожертвовать 20 долларов для частных лиц и 200 долларов для корпораций. В США ваше пожертвование может быть вычтено из вашего дохода. (ICSA никоим образом не поддерживает этот сайт, не разрабатывает это программное обеспечение, не продает это программное обеспечение, и использование этого программного обеспечения не зависит от того, делаете вы пожертвование или нет.)

Немцы могут сделать пожертвование без вычета налогов в пользу Dialog Zentrum Berlin e.V., Konto-Nr. 15513

, Bank für Kirche und Diakonie BLZ 35060190.

Или посетите книжный магазин Xenu.

Или пришлите мне футболку вашего города, вуза, работодателя размера XL. Пожалуйста, не отправляйте ничего дороже 40 долларов (включая доставку). Учтите, что на работе я буду носить вашу футболку. «Авиапочта» USPS является быстрой, надежной и недорогой (и разрешены большие размеры!), Поэтому, пожалуйста, не используйте FedEx или UPS, потому что это может привести к тому, что мне придется платить деньги за таможню.

Или пришлите мне письмо с благодарностью на корпоративном листе, если вы работаете в известной компании. Убедитесь, что у вас есть полномочия на отправку такого письма. Это мой почтовый адрес:

Тилман Хаушерр
Hauptstrasse 15
10827 Берлин
Германия

5. Почему Xenu Link Sleuth ™ сообщает, что

http://www.site.com/../page/index.html не работает?

Ключ — это деталь « ../ «. Это означает, что у вас есть, например, страница верхнего уровня, которая ссылается на страницу в каталоге выше, которого не существует.Это правда, что у Mozilla не будет проблем с такой страницей; но я менее терпим.

6. Как настроить прокси?

Вы можете настроить прокси в управляющем приложении Windows. Дважды щелкните символ «Интернет», затем щелкните «карточку» диалогового окна с именем «Подключение». Вам может понадобиться прокси, если вы сидите «за брандмауэром». Обычно это так в больших корпоративных сетях.

У одного пользователя с Windows 2000 всегда был тайм-аут, он решил его, установив флажок «Использовать HTTP 1.1 »и также « Использовать HTTP 1.1 через прокси-соединения »на вкладке« Дополнительно »окна« Свойства обозревателя »панели управления. Однако это может работать не для всех, поскольку некоторые веб-серверы не поддерживают HTTP 1.1.

7. Почему Xenu’s Link Sleuth ™ сообщает об URL с пробелом?

Либо потому, что у вас есть пробел в URL-адресе, либо потому, что в нем есть возврат каретки / новая строка. Хотя Mozilla терпит это, я нет.

8. Я использую Mozilla 3.0 Gold и не могу избавиться от файла

: URL-адреса для изображений.Что я могу делать?

Повторно отредактируйте страницу, дважды щелкните изображение, удалите файл : из местоположения изображения и снимите флажок «копировать изображение в местоположение документа» в диалоговом окне «Свойства» (внизу слева) перед сохранением и выходом из диалогового окна.

9. Какое максимальное количество веб-сайтов можно проверить?

Нет максимума. Он ограничен объемом памяти вашего компьютера.

10. Может ли программа проверять мой сайт локально?

С сентября 1998 г.0n), вы можете сделать это без локального веб-сервера (тогда ваш адрес будет http://127.0.0.1). Используйте кнопку «Обзор» в диалоговом окне «Создать».

Результаты не всегда будут такими же, как при «удаленной» проверке:

  • Иногда появляется «ошибка 3». Это происходит потому, что WININET.DLL не может обрабатывать каталоги, то есть ссылки, заканчивающиеся на «/». Этого можно избежать, установив ссылку на фактический «главный файл», обычно index.html или default.html . Ваш браузер может обрабатывать локальные каталоги и красиво их отображать, потому что он выполняет дополнительной работы с , чего я не делаю.
  • Смешанные символы верхнего и нижнего регистра в ссылках не будут обнаружены, поскольку Windows не имеет значения. Но UNIX делает! / Li>
  • Основная причина, по которой вам все еще необходимо время от времени проводить «удаленные» проверки, заключается в том, что вы могли забыть загрузить свои файлы на свой WWW-сервер.

Пользователь IE 4.0 сообщил, что, когда он не в сети, программа проверяет каждый «удаленный» URL как локальный файл. Это проблема более новой версии WININET.DLL; версия с IE 3.0 вместо этого сообщает «нет соединения» или «нет такого хоста», что более логично.

11. Работает ли в Windows NT 3.51?

Один пользователь сказал, что он работал нормально после того, как он скопировал версию WININET.DLL из системы Windows 95, стоящей поблизости, и поместил ее в каталог, где был установлен Xenu’s Link Sleuth ™.

12. Как это чертовски быстро?

Потому что он использует (возможно, запатентованный, см. Патенты здесь и здесь) метод, известный как вытесняющая многопоточность .Это означает, что программа проверки ссылок извлекает несколько веб-страниц одновременно; соревнования используют ту же технику. Максимальное количество потоков изначально установлено на 30, но вы можете настроить его на любое число от 1 до 100. Слишком большое число может привести к сбоям соединений или тайм-аутам, что означает, что вам придется повторно проверять неработающие ссылки. В то время, когда у меня было коммутируемое соединение, у меня были хорошие результаты с 70. Теперь у меня есть соединение DSL, и мне нужно установить число от 1 до 5.Я подозреваю, что мой поставщик DSL где-то установил тормоз, чтобы «коммерческие» клиенты не могли пользоваться недорогими «частными» услугами.

13. Могу ли я получить исходный код?

Хахахахахаха!

14. Могу ли я купить исходный код?

Конечно, сделайте мне «предложение, от которого я не могу отказаться».

15. Ради интереса я проверил веб-сайт Тилмана и обнаружил много неработающих ссылок. Почему?

Я проверяю свой веб-сайт каждую неделю по пятницам. Тем не менее всегда есть битые ссылки:

  • Ссылки, которые, как я знаю, не работают: я держу их в таком виде, чтобы напомнить мне, что когда-нибудь найду этих людей.На самой веб-странице есть уведомление о том, что ссылка не работает.
  • Временные недоступные хосты: это временные ошибки маршрутизации.
  • Действительно неработающие ссылки: Обычно я исправляю ссылку или удаляю ее в течение следующих нескольких дней.

16. Как исправить битые ссылки?

Восстановление неработающих ссылок (т. Е. Получение правильных) — сложная задача, требующая времени, но с опытом вы справитесь с ней все быстрее и быстрее.

  • , если у вас есть адрес электронной почты владельца сайта (потому что вы его знаете), попробуйте использовать электронную почту.Иногда адрес все еще работает, даже если веб-сайт исчез.
  • найдите домашнюю страницу сайта, на который вы ссылаетесь, чтобы увидеть, есть ли на сайте сообщение «извините, мы переехали». Если вы связались с http://www.host.com/~user/page888.html и это не работает, посмотрите на http://www.host.com/~user/ , чтобы увидеть, есть ли сообщение или чтобы узнать, был ли сайт реорганизован. Некоторые сайты реорганизуют свои пользовательские страницы по-другому, например http://www.host.com/homepages/users/page888.html .Иногда Интернет переключается между двумя методами. Другие сайты принадлежат самому пользователю, например www.user.com , поэтому домашняя страница является корневой. Если сайт существует, но вы не можете найти свою страницу, отправьте электронное письмо владельцу.
  • используйте поисковые системы, чтобы найти сайт или имя владельца сайта (если вы знаете). Чтобы найти сайт, используйте поисковые системы (например, Google или Интернет-архив) и поисковые системы usenet (например, группы Google).
    • Вы нашли сайт, который искали
    • Вы нашли сайт, который ссылается на сайт, который вы искали
    • Вы находите сайт в Google Cache или Интернет-архиве (просто введите URL-адрес в поле поиска!) И можете использовать его содержимое для поиска по имени владельца.
    • Вы нашли сайт, который ссылается на сайт, который вы искали, но тоже не работает.Отправьте электронное письмо владельцу сайта и сообщите ему, что ссылка не работает. Добавьте сайт в закладки и посетите его через неделю, чтобы узнать, нашел ли его другой человек. Если нет, то тем не менее вам удалось заставить другого человека чувствовать себя так же плохо, как и вы, что приносит некоторое облегчение 🙂
    • Вы нашли новый адрес электронной почты пользователя. Отправьте ему электронное письмо или попробуйте создать URL-адрес самостоятельно ( [электронная почта защищена] ведет к http://www.host.com/~user/ )
  • разместить сообщение в группе новостей, посвященной данной теме.Надеюсь, владелец сайта или один из его друзей прочитают там сообщения.
  • , если вам все еще не удалось, удалите ссылку на сайт или повторите попытку через месяц (некоторые сайты могут снова появиться в поисковой системе через некоторое время). Иногда случается, что хост реорганизует свой жесткий диск, и все пользовательские страницы возвращаются в течение нескольких дней.

17. А как насчет ftp и gopher-сайтов?

Начиная с версии 1.0k я реализовал новый метод проверки ftp, который на 100% надежен.К сожалению, этот метод не работает с прокси. Предыдущий метод, который я использовал (и все еще использую для суслика), был ненадежным, так как он не обнаруживал определенных ошибок.

Метод проверки сайтов сусликов все еще ненадежен. Когда доступ к ftp- или gopher-сайту осуществляется через прокси, этот прокси создает веб-страницу. К сожалению, он не всегда отображает информацию о том, существует ли URL-адрес или нет. Когда вы заходите на сайт gopher без прокси, появляется сообщение об ошибке, но не код ошибки .Похоже, это ошибка функции OpenURL () файла WININET.DLL.

В выводе перечислены ftp и gopher-сайты в виде ссылок, что позволяет вам проверить эти сайты вручную.

18. Почему я не могу запускать URL-адреса?

Начиная с версии 1.0g (Рождество 1997 г.), URL-адреса запускаются с помощью DDE («динамический обмен данными», Windows-метод связи между приложениями), чтобы открывать многие окна браузера, но предотвращать открытие нескольких приложений Netscape. Это делается с помощью реестра, выполнив поиск HKEY_CLASSES_ROOT \ http \ shell \ open .Это путь к браузеру, имя приложения DDE (например, «Netscape»), тема DDE (обычно « WWW_OpenURL ») и шаблон для элемента DDE (обычно «% 1 »). Если вы не можете запустить URL-адрес, не паникуйте — экспортируйте и отправьте мне по электронной почте сегмент вашего реестра (запустите REGEDIT.EXE и найдите «http»).

Обычно причина в том, что вы неправильно установили Netscape (возможно, вы просто перенесли файлы с другого компьютера). Решение: переустановите Netscape поверх вашей текущей установки.

Начиная с версии 1.1b, я перестал отображать сообщение об ошибке при неполном реестре, потому что было слишком много жалоб. Вместо этого браузер просто запустится со страницей. Недостатком этого является то, что страница не будет отображаться в дополнительном окне текущего активного приложения браузера.

Один пользователь с Microsoft Vista 64 (UAC отключен) не смог запустить URL-адреса (окно сообщения: «Невозможно открыть браузер для« URL-адреса »: ошибка 5: Доступ запрещен»).Причина — COMODO Firewall Pro 3.0.25.378. Без брандмауэра все работало нормально. Пожалуйста, помните, что «Персональные файерволы» — это в основном змеиное масло. Вместо этого установите внешний брандмауэр — обычно он есть в вашем маршрутизаторе.

18а. Почему браузер не открывает новое окно?

Это проблема Microsoft Internet Explorer. Откройте реестр и найдите HKEY_CLASSES_ROOT \ http \ shell \ open \ ddeexec . Если значение ключа — «% 1» ,, - 1,0 ,,,, , измените его на «% 1» ,, 0,0 ,,,, (т. Е.е. вы меняете -1 на 0 ).

18б. Почему Link Sleuth зависает при запуске отчета?

Если Link Sleuth зависает при запуске отчета, но не при двойном щелчке по URL-адресу, причиной может быть карта сайта. Карта сайта может быть ОГРОМНОЙ, если сайт идет очень «глубоко» (высокий уровень, см. Столбец «уровень» в окне Link Sleuth). Если у вас есть форум, может получиться очень «глубокий» сайт.

Решение: отключите карту сайта в диалоговом окне параметров или исключите «глубокие» части вашего веб-сайта (например,грамм. форум) в начальном диалоговом окне.

18c. Почему Link Sleuth зависает при запуске отчета или URL?

Я не знаю, почему это происходит, но я сам испытал это с Windows ME (но не с Windows XP) и получил аналогичные отчеты от пользователей. Проблема исчезает после перезагрузки Windows, но возвращается позже. Вы также можете избавиться от проблемы, внеся изменения в файл XENU.INI под строкой с [Параметры] , введите это:
UseDDE = 0
Единственный недостаток — это не открывает новое окно в браузере.

19. Что насчет файлов cookie

По умолчанию файлы cookie отключены, и Xenu отклоняет все файлы cookie.

Если вам нужны файлы cookie, потому что

  • вы использовали Internet Explorer для аутентификации перед запуском запуска
  • , чтобы сервер не доставлял URL-адреса с новым идентификатором сеанса

, то вы можете включить файлы cookie в диалоговом окне дополнительных параметров.
(Доступно с версии 1.2g)

Предупреждение:
Вы не должны использовать эту опцию, если у вас есть ссылки, которые удаляют данные , например.грамм. база данных или магазин — вы рискуете потерять данные !!!

20. Почему некоторые ссылки отображаются в Xenu как «неработающие», которые могут отображаться в моем браузере?

Некоторые серверы читают «Пользовательский агент», то есть имя программного обеспечения, которое пытается получить доступ к веб-сайту. Некоторые сайты запрограммированы только под Netscape и Internet Explorer, а от всего остального отказываются. Некоторые могут даже специально отказать Ксену из-за неправильного использования в прошлом. У Энди есть список веб-сайтов, запрещающих доступ к Xenu. Настраиваемый пользователем «Пользовательский агент» был бы решением, но это сделало бы возможным злоупотребление.

21. Почему я не могу подключиться к «защищенным» (https) сайтам?

Если вы правильно настроили прокси, попробуйте подключиться к IE. Если это не сработает, прочтите этот пост usenet для получения помощи. Если это по-прежнему не работает и вы используете Windows NT 4.0, установите последние пакеты обновления NT (до SP5).

22. Какие-нибудь известные проблемы с Windows 95?

Некоторые люди сообщали о сбоях. Эти проблемы обычно решались установкой IE 3.0 (или выше) или следующих пакетов обновления:

У одного человека были проблемы с WININET.DLL (v. 4.70.1300), установленная с OEM Windows 95 (v. 95 4.00.950 C). Переход на версию 4.70.1335 решил проблему.

Более простое решение — зайти на http://windowsupdate.microsoft.com и установить все, что вам говорят (в вашей системе должен быть IE 4.0 или выше).

23. Какие-нибудь известные проблемы с Windows 2000?

Хотя я получил много сообщений о том, что он работает нормально, один пользователь сообщил о проблеме и решении:

Windows 2000 автоматически устанавливает параметр конфигурации для использования HTTP 1.1 для подключения к веб-сайтам. Многие, многие веб-сайты не используют эту версию, но продолжают использовать HTTP 1.0, поэтому автоматическая настройка может препятствовать подключению. Это причина, по которой Ксену не побежал за мной. Когда я отключил эту настройку, Xenu работал правильно.

Чтобы отключить этот параметр: Панель управления -> Свойства обозревателя -> Дополнительно (вкладка) -> Настройки HTTP 1.1 (заголовок списка) -> Использовать HTTP 1.1 (флажок: снимите флажок)

24. Могу ли я настроить тайм-аут?

Введите количество секунд в сегменте [Опции] в XENU.INI , например как тайм-аут = 120 . Значение по умолчанию — 60. Обратите внимание, что это не «идеально». В Microsoft Windows есть ошибка, из-за которой тайм-аут не может быть установлен должным образом. Я использую совет от Microsoft. Однако я заметил, что это не работает, если тайм-аут «срабатывает» при попытке узнать, существует ли имя хоста.

Или попробуйте это:

  • Запустите редактор реестра ( REGEDIT.EXE )
  • Перейдите к HKEY_CURRENT_USER \ Software \ Microsoft \ Windows \ CurrentVersion \ InternetSettings
  • Выберите New> DWORD из меню Edit
  • Назовите его ReceiveTimeout со значением <количество секунд> * 1000

  • («Скрытый» по умолчанию — 300000, т.е.е. пять минут, что слишком долго)
  • Перезагрузите систему

Некоторые пользователи жаловались, что если один URL-адрес достигает тайм-аута или сбоя соединения, все URL-адреса с этого хоста также поступают. Начиная с версии 1.2h, это поведение можно отключить, сняв отметку «сбой всех URL-адресов с одним и тем же сбойным хостом» в диалоговом окне дополнительных параметров. (По умолчанию «отмечено»)

25. А как насчет JavaScript?

JavaScript — это язык программирования, а не язык форматирования. Это делает веб-страницы динамическими; они могут зависеть от типа мыши, размера экрана и т. д… Меня попросили проверить простые ссылки JavaScript, которые имеют форму javascript: function ('address', param1, param2, ..., paramN)

Мое решение, о котором впервые было объявлено в группе пользователей требует изменения файла XENU.INI. Вам необходимо базовое понимание регулярных выражений (regexp). Вы должны поместить свое регулярное выражение в файл INI, например:

[Параметры]
Javascript = javascript:. * \ (['"] (. * (/ | S? Html? | Gif | jpe? G | png | jsp | cfm | zip | exe | aspx? | pl | pdf | xml | ra | asx | ram | swf | php) (\ ?.'"] +) ['"]

Франк Виссер также написал более подробное описание на своем сайте.

Примечание: внутри «javascript: function» может не быть пробела, потому что регулярное выражение не будет работать.

26. Как насчет паролей, введенных в ФОРМУ?

Программа не может вводить пароли в ФОРМУ. Я просто не вижу способа легко с этим справиться. Я предполагаю, что это возможно, если объединить набор имен переменных, значений и веб-страницу, которая будет принимать их, с помощью команды POST.Но некоторые альтернативы могут работать:

  • Войдите в Internet Explorer, запустите Xenu, затем включите файлы cookie в диалоговом окне дополнительных параметров (прочтите подробности), затем запустите проверку
  • Если сервер принимает аутентификацию с помощью GET (должен работать с сервером Tomcat), попробуйте отправить такой URL-адрес. Однако вам все равно может потребоваться активировать файлы cookie.

27. Как насчет версии для WAP?

Xenu проверяет файлы .wml с февраля 2001 года.

28. Что насчет этих кодов ошибок?

Я определяю только часть всех возможных кодов ошибок в столбце «Состояние».Если вы получаете неизвестный код ошибки в окне приложения Xenu, вы можете прокрутить вправо для получения текста объяснения.

Дополнительная информация:

29. Почему у меня появляются неработающие ссылки с

filelist.xml , editdata.mso и oledata.mso ?

Потому что Microsoft создает эти неработающие ссылки 🙁 Не беспокойтесь о них и не читайте статью базы знаний Q219694: Сохранение HTML-файла Office в FrontPage Web приводит к неработающей гиперссылке. Или попробуйте этот инструмент: Office 2000 HTML-фильтр 2.0

Вы также можете избавиться от проблемы, исключив их в диалоговом окне дополнительных параметров.
Xenu исключит URL-адреса, заканчивающиеся на /filelist.xml , /editdata.mso и /oledata.mso . (Эта функция доступна с версии 1.2g)

30. Почему я получаю сообщение «файл не найден» при удаленной проверке?

Для этого может быть несколько причин:

  • Ваш Internet Explorer работает неправильно, находится в автономном режиме или заблокирован вашим брандмауэром.Введите URL-адрес, который вы хотите проверить, в IE и посмотрите, работает ли он.
  • Один пользователь заставил это работать, запустив сначала Internet Explorer, а затем Xenu. Я считаю, что причина в неправильной установке Windows или Internet Explorer.
  • Ваш временный каталог заполнен: введите% TEMP% (не «c: \ temp»!) В проводник Windows, проверьте, много ли файлов TGH *. *, И удалите их.

31. Могу ли я сделать версию на иностранном языке?

Нет, пожалуйста, не надо. Нет никакой гарантии, что какой-либо из текстов сообщений будет сохранен в следующей версии.Другая проблема заключается в том, что я не писал программное обеспечение таким образом, чтобы оно не зависело от языка. Я мог бы это сделать, но я думаю, что большинство людей в сети понимают английский.

32. Почему Xenu не определяет отсутствующие URL-адреса?

Веб-сервер должен возвращать ошибку HTTP 404 для несуществующих URL. Некоторые серверы плохо настроены: некоторые перенаправляют на существующий URL-адрес с сообщением об ошибке (плохо!), Другие действительно показывают страницу с ошибкой, но сервер не возвращает ошибку 404 (очень плохо!).

У одного пользователя возникла проблема, заключающаяся в том, что его сервер Microsoft IIS не возвращал ошибку 404.Он нашел справку на этой странице, а затем отправил мне свое решение, которое работает только в .ASP под IIS:

 <% @ LANGUAGE = "VBScript"%>
<% Response.Status = "404 не найдено"
On Error Resume Next 'важно на странице ошибки, чтобы предотвратить другую ошибку
strTarget = Request.ServerVariables ("QUERY_STRING")
strReferer = Request.ServerVariables ("HTTP_REFERER")%>
  Страницы не существует, извини, чувак! 

У веб-сервера Apache есть другой (и лучший) способ сделать то же самое, используя собственный HTML-код для веб-страницы.Вы просто устанавливаете правильные элементы конфигурации в файле http.conf на вашем компьютере.

33. Запуск Xenu с Norton Internet Security

У пользователя возникли проблемы с использованием Xenu с Norton Internet Security 7, и возникла ошибка 12007 (такого хоста нет). После того, как он добавил Ксену, все заработало. Вот что он сделал:

  • добавил Xenu, открыв Norton Internet Security, дважды щелкнув значок Norton «Глобус»
  • На правой боковой панели, «Персональный брандмауэр», нажмите КОНФИГУРИРОВАТЬ
  • Во всплывающем окне Personal Firewall щелкните ПРОГРАММЫ
  • В МЕНЮ УПРАВЛЕНИЯ ПРОГРАММОЙ
    • Настройки для — «Дом (активный)»
    • щелкните поле «Включить автоматическое управление программой»
    • В разделе «Ручное управление программой»
    • Выделите «Зену.exe «
    • Щелкните Xenu один раз, чтобы выделить его
    • Нажмите ИЗМЕНИТЬ
  • во всплывающем окне:
    • Нажмите РАЗРЕШЕНИЕ
    • Нажмите ОК
    • Снова нажмите ОК
  • Запустите Xenu

34. Почему таймауты?

Сложно ответить. Причиной может быть перегрузка сети; это может помочь установить меньшее количество потоков или точно настроить обнаружение DoS вашим брандмауэром.

Проверьте журналы вашего брандмауэра, чтобы узнать, обнаружил ли он вашу DoS-атаку «SYN flood».SYN — это первый пакет данных, который отправляется хосту при запуске соединения. Теоретически Xenu может отправить до 100 SYN-пакетов, на которые не сразу ответил, поэтому брандмауэр (который считает «неотвеченные» SYN-пакеты) может подумать, что происходит что-то «злое». Мой брандмауэр однажды заявил, что обнаружил SYN-поток, когда я открывал много газетных статей в фоновых окнах браузера.

35. Любое шпионское, рекламное, вредоносное ПО?

Это программное обеспечение существует с 1997 года и никогда не имело никаких вредоносных программ.Он не «звонит домой» и не возвращает мне статистику. В HTML-отчете есть случайные «объявления» по причинам, которые я поддерживаю; однако мне за это не платят. Любые пароли, которые вы вводите в программе (например, для поиска сирот), не «запоминаются» после закрытия Xenu и не передаются мне.

Некоторые отладочные данные хранятся в файле XENULOG.TXT , который вы найдете в каталоге % TEMP% . Этот файл не содержит паролей и используется для поддержки (иногда я прошу вас прикрепить его к электронному письму), в первую очередь для проблем с запуском URL-адресов в вашем браузере (особенно для отчета).Файл удобочитаем, так что не стесняйтесь взглянуть. Xenu не присылает мне файл, он просто находится там, и вы можете удалить его, если хотите.

Вот зеленый отзыв McAfee Siteadvisor о Link Sleuth от Xenu. Обратите внимание, что до 11 июля 2008 г. служба Yahoo Search (которая использует ввод от McAfee SiteAdvisor) помечала каждому URL-адресу всего домена snafu.de , включая мой пользовательский сайт (похоже, сейчас это исправлено). McAfee SiteAdvisor обратил внимание на беспорядки.de, а не пользовательские страницы. Это было связано с тремя загрузками (CuteFTP, GoZilla и Nok2Phone) на ftp-сайте поддержки клиентов snafu.de, который был моим интернет-провайдером более десяти лет. С тех пор эти загрузки были удалены, и Yahoo и McAfee были уведомлены об этом. 30 июля 2008 г. я заметил, что домен snafu.de помечен зеленым флажком.

Если у вас возникнут дополнительные вопросы по безопасности, не стесняйтесь обращаться ко мне.

Что такое Xenu’s Link Sleuth и почему это один из лучших бесплатных инструментов для SEO на странице?

Если вы знакомы с инструментами SEO и SEO, возможно, вы слышали о Xenu’s Link Sleuth.Это БЕСПЛАТНАЯ программа, разработанная Тилманом Хаушерром. Программное обеспечение предоставляет безграничные возможности, которые позволяют вам совершенствовать текущее SEO, и, что самое приятное, это БЕСПЛАТНО!

Это запатентованный инструмент, который работает как поисковый робот и возвращает все необходимые данные о вашем веб-сайте. Ниже перечислены несколько преимуществ Xenu Link Sleuth, отмеченные Тилманом на веб-сайте Xenu:

  • Это бесплатно
  • Простой пользовательский интерфейс
  • Улучшенные отчеты об ошибках (не только «ошибка сети»)
  • «Сохранить» работает, пока программное обеспечение занято
  • «Просмотр неработающих ссылок» показывает только неработающие ссылки.
  • Хотя Xenu не предлагает средства «обновления» (которое в любом случае не работает), в нем есть функция «перепроверить неработающие ссылки».
  • Программа небольшая и не требует слишком много оперативной памяти.
  • Отчет можно легко просмотреть, даже если у вас длинные URL-адреса.
  • Загрузка сохраненных файлов стала быстрее.
  • Поддерживает веб-сайты SSL («https: //»)
  • Частичное тестирование сайтов ftp и gopher
  • Поиск локальных потерянных файлов
  • Специальная обработка перенаправленных URL-адресов
  • Карта сайта
  • Частичная рандомизация порядка проверки, значит меньше одновременные запросы на одном сервере

Самое лучшее в Xenu — это то, что он неограничен! Это означает, что независимо от того, насколько велик ваш веб-сайт и сколько раз вам нужно использовать этот инструмент, вы можете это сделать.

После сканирования веб-сайта вы можете легко экспортировать результаты в файл, разделенный TAB, а затем скопировать и вставить его в электронную таблицу Excel.

Электронная таблица Excel будет включать важные столбцы для всех возможных сущностей (изображения, скрипты, HTML-страницы, карты сайта и т. Д.) Как:

  • Код состояния
  • Текст состояния
  • Тип
  • Размер
  • Заголовок
  • Дата
  • Уровень
  • Исходящие ссылки
  • Связи в
  • Ошибка сервера
  • Продолжительность
  • Набор символов
  • Описание

После применения фильтров можно выполнить следующие действия.Вы можете разделять html-страницы и находить неработающие ссылки, находить мета-заголовки и мета-описания, определять уровни страниц и архитектуру сайта. Это может помочь легко оптимизировать элементы на странице веб-сайта и сделать это более организованным образом.

Если вам неудобно работать с листом Excel и вы находите файл, разделенный табуляцией, немного запутанным, Xenu автоматически генерирует отчет, который размещается в простой и понятной форме. Если каким-то образом вы пропустили окно создания отчета, вы можете просто нажать «R», и оно откроется в вашем браузере.Отчет включает:

  • Неработающие ссылки, упорядоченные по ссылке
  • Неработающие ссылки, упорядоченные по страницам
  • Список перенаправленных URL-адресов
  • Список действительных URL-адресов, которые вы можете отправить в поисковую систему
  • Карта сайта HTML-страниц с заголовком
  • Неработающие ссылки на локальную страницу
  • Потерянные файлы
  • Статистика для менеджеров

Xenu Link Sleuth — это комплексный инструмент, который включает в себя гораздо больше, чем мы рассмотрели выше, но на базовом уровне это инструмент, который поможет с базовая SEO оптимизация и поиск битых ссылок.

Следите за нашим блогом, чтобы получить дополнительную информацию о том, как еще можно использовать Xenu Link Sleuth или другие инструменты SEO, чтобы улучшить свою внутреннюю и внешнюю поисковую оптимизацию.

Свяжитесь с нами, если у вас есть вопросы по этой или другим темам, которые мы обсуждаем в нашем блоге, или если вы хотите узнать о наших услугах цифрового маркетинга.

Xenu Link Sleuth — проверьте свой сайт на наличие битых ссылок

Не знаю, почему я не просмотрел эту программу раньше.Возможно, его не было в Snapfiles, когда я впервые начал его использовать (2002 г.). Если вы хотите убедиться, что ссылки на ваш сайт верны, это именно то, что вам нужно. Это не просто так называемая программа проверки ссылок, которая проверяет ваши внешние ссылки, чтобы убедиться, что они работают. Он проверит каждую ссылку на вашем сайте, например ссылки на изображения в папках и другой контент. Существуют некоторые ограничения на проверку ссылок на основе java, но все это объясняется на веб-сайте. Также вы можете обойти проблему, создав тестовую страницу со ссылками на все элементы, обычно вызываемые из java.Если они работают, вы знаете, что все еще существует и находится в правильном каталоге. Просмотреть подробности
  • Интерфейс
  • Характеристики
  • Простота использования
  • Значение
  • Порекомендовать другу? Да
  • Опубликовано 30 августа 2011 г. для v1.3,8
Это отличное программное обеспечение. Вам не нужно идти дальше. Я пробовал различные другие системы, и это, безусловно, лучший вариант. Просмотреть подробности
  • Интерфейс
  • Характеристики
  • Простота использования
  • Значение
  • Порекомендовать другу? Да
  • Опубликовано 9 июля 2007 г. для версии v1.2 ч.
Великолепно, вы сможете сделать заказ во всей этой неразберихе с URL-адресами! Prog выглядит настолько скромно и просто, что я действительно был поражен качеством отчета. Работает очень быстро: 200 URL за 10 секунд. Важнейшие выводы: 1) битые ссылки с объяснением того, что с ними произошло; 2) перенаправленные URL-адреса, которые по-прежнему могут привести вас на нужный веб-сайт, но займут больше времени, потому что это уже неправильный адрес. Единственная проблема в том, что вы будете перегружены этой огромной работой по их исправлению.Мое предложение: экспортировать закладки из браузера не все сразу, а папку за папкой, чтобы получить несколько файлов HTML, и каждый раз, когда вы выходите в Интернет, вы просите Xenu проверить один из них, а затем исправит ссылки. сохраните его как .XEN, иначе будет сложно отсортировать результат. Просмотреть подробности
  • Интерфейс
  • Характеристики
  • Простота использования
  • Значение
  • Порекомендовать другу? Да
  • Опубликовано 3 ноября 2005 г. для v1.2г

Xenu: обзор инструментов, функции, цены и возможности интеграции

Неработающие ссылки могут повлиять на рейтинг вашего сайта в поисковых системах и нанести ущерб его репутации в Интернете. Но веб-инструмент с названием прямо из научной фантастики может помочь владельцам сайтов в любой отрасли находить плохие ссылки, выявлять перенаправленные URL-адреса и многое другое, причем совершенно бесплатно.

Названный в честь Ксену, галактического правителя в мифах Саентологии Л. Рона Хаббарда, Xenu Link Sleuth представляет собой приложение для проверки ссылок, которое может проверять до 100 ссылок в минуту на всех страницах любого веб-сайта.Поскольку Xenu Link Sleuth определяет проблемы, которые мешают работе пользователей и рейтингу SEO, он может играть важную роль в общей стратегии SEO любой компании.

Зачем беспокоиться о неработающих ссылках?

Гиперссылки, или просто ссылки, представляют собой соединительную ткань Интернета — сеть уникальных URL-адресов, которые обеспечивают обмен данными между веб-сайтами всех видов. Но когда ссылка не работает, она указывает на пустую страницу или несуществующий сайт. Это полностью закрывает путь пользователя к необходимой информации и влияет на обратные ссылки — ключ к повышению авторитета веб-сайта.Хотя случайные неработающие ссылки не обязательно вредны, сайт с несколькими неработающими ссылками создает неудобства для пользователей и отрицательно влияет на его поисковый рейтинг.

Но битые ссылки — улица с двусторонним движением. Некоторые из них вызваны ошибками на исходном сайте, а другие возникают из-за проблем с конечным сайтом. Ввод неправильного или ошибочного URL-адреса, конечно же, приведет к созданию неработающей ссылки, поскольку нет сайта или страницы, соответствующей ей. Таким образом, мы вводим URL-адрес, не проверяя, активна ли ссылка.

В других случаях, однако, неработающие ссылки возникают из-за обстоятельств со стороны целевого сайта. Этот сайт мог быть закрыт или перешел на новый URL. Связанный контент мог быть удален или повторно размещен под другим URL-адресом. В некоторых случаях целевой сайт устанавливает брандмауэр, который предотвращает доступ к контенту, за исключением определенных условий, таких как подписка.

Независимо от того, откуда берутся неработающие ссылки, владелец сайта обязан найти и исправить или удалить их, чтобы поисковые роботы не сталкивались с кодами ошибки 404 «страница не найдена» или множественными переадресациями.Но поиск и исправление этих ссылок вручную может занять много времени, а некоторые проблемные ссылки можно упустить. Вот почему инструмент для очистки веб-страниц, такой как Xenu, может быть полезен для обеспечения удобства поиска на веб-сайте и его доступности для пользователей.

Как работает Xenu Link Sleuth?

Основная функция Xenu Link Sleuth — сканировать ваш сайт на предмет неработающих ссылок, но его основные инструменты имеют ряд других функций, которые могут быть полезны для отслеживания рейтинга в поиске и повышения удобства использования веб-сайта.

Стоимость

Xenu Link Sleuth был создан еще в 2010 году как бесплатный веб-скребок для поиска и исправления неработающих ссылок. Сегодня, после более чем 245 000 загрузок, он также предоставляет владельцам сайтов инструменты для проверки производительности сайтов конкурентов, быстрого просмотра конфигурации всего веб-сайта и других функций, связанных с поисковой оптимизацией. Xenu постоянно бесплатен и может быть загружен и установлен на любой компьютер под управлением Windows. На данный момент Xenu недоступен для пользователей Mac.

Простота использования

Xenu поддерживает сайты FTP и SSL, и он может даже сканировать файлы HTML на компьютере пользователя, прежде чем они будут загружены на веб-сайт. Он имеет чистый, четко обозначенный интерфейс, которым легко пользоваться даже тем, у кого нет навыков разработки или программирования.

Чтобы запустить проверку ссылок, просто выберите «Файл» в раскрывающемся меню приложения и введите URL-адрес для проверки. Оттуда вы также можете установить количество уровней, которые должен ползать паук Ксену.Xenu сканирует ссылки, связанные с любым типом контента, включая изображения, фоны, плагины и скрипты.

Xenu возвращает длинный отчет, доступный в различных форматах, обо всех ссылках, имеющихся на сайте, а также обо всех страницах с неработающими переадресациями. Нажав на любую из перечисленных ссылок, вы можете увидеть страницу, связанную со ссылкой, или любые коды ошибок, возвращенные по неработающей ссылке.

Xenu делает больше, чем просто проверяет ссылки

Помимо основной функции проверки ссылок, ключевые функции Xenu можно использовать и другими способами для получения информации, которая может помочь улучшить SEO и рейтинг сайта.

Сортировка ссылок по размеру

Изображения могут улучшить внешний вид веб-сайта, но они могут быть в виде больших файлов, что увеличивает время загрузки сайта и снижает его производительность. Xenu может сортировать все ссылки по размеру, поэтому вы можете находить большие файлы изображений и оптимизировать их для повышения производительности. Функции сортировки Xenu также позволяют фильтровать поиск по типу файла, например Javascript или приложениям, и находить отсутствующие элементы, такие как текст изображения ALT.

Анализ ссылок конкурентов

Xenu сканирует ссылки любого URL-адреса, введенного в его интерфейс, поэтому он может показать неработающие и работающие ссылки любого сайта в Интернете.Используя таким образом функцию общего сканирования Xenu, владельцы сайтов могут видеть структуру ссылок на сайтах конкурентов и получать представление об их стратегиях SEO и эффективности.

Анализ информационной архитектуры веб-сайта

Xenu также может предоставить изображение всей структуры URL любого сайта. Наряду со списком ссылок на все элементы сайта, он может показать, сколько кликов необходимо, чтобы перейти с одной страницы на другую, например, с домашней страницы на внутреннюю страницу. Эта информация может показать, является ли архитектура сайта слишком сложной для удобства пользователей и работают ли определенные страницы для общих целей сайта.

Link Sleuth

Xenu предлагает неограниченную проверку ссылок и может сканировать до 100 страниц за одну операцию. Xenu может работать с любой стратегией SEO для улучшения производительности веб-сайта, рейтинга и удобства пользователей, включая комплексные решения для контент-маркетинга Scripted.

Scripted и Xenu: партнеры по поисковым решениям

Качественный, оптимизированный для SEO контент — краеугольный камень успешной маркетинговой стратегии. Комплексные SEO-решения Scripted сосредоточены на предоставлении этого контента, созданного группой квалифицированных писателей с опытом работы во всех отраслях.

Планы подписки

Scripted предлагают ряд услуг и поддержку для разработки полнофункциональных SEO-стратегий, отвечающих вашим уникальным маркетинговым целям. Управляемые планы Scripted также включают периодические проверки сайта, которые включают в себя идеи и информацию из инструментов проверки ссылок Xenu как часть общей стратегии, ориентированной на контент, для повышения видимости вашего сайта.

Каждый из трех планов подписки Scripted включает доступ к обширному кругу профессиональных фрилансеров, умеющих писать сообщения в блогах, официальные документы, сообщения в социальных сетях и другие типы контента для поддержки успешной кампании контент-маркетинга.Ищете ли вы основы для дополнения текущего маркетингового плана или полностью управляемое решение, которое обрабатывает все аспекты вашей стратегии SEO, у Scripted есть план для вас.

Выберите свой сценарий по сценарию

План Self Serve Basic компании

Scripted предлагает доступ к неограниченному количеству контента от базового пула квалифицированных авторов контента, оптимизированного с учетом передовых методов SEO и готового для включения в существующие стратегии SEO и маркетинга вашей компании.

Как и Self Serve Basic, план Self Serve Premium включает неограниченное количество контента. Но Self Serve Premium также предоставляет доступ к другому набору писателей — создателям контента с самым высоким рейтингом в пуле писателей Scripted Premium. Этот план включает специального представителя учетной записи, который обеспечивает поддержку для управления вашим планом и работы с авторами, которых вы выбираете из пула Премиум. Self Serve Premium также поддерживает эффективность SEO вашего сайта с помощью первоначального анализа сайта и ежеквартального обзора общего состояния SEO вашего сайта на протяжении всего срока действия вашего плана.

План Cruise Control высшего уровня компании

Scripted — это полностью управляемое решение для SEO, основанное на высококачественном контенте. В Cruise Control мы занимаемся всеми аспектами оптимизации вашего сайта, от поиска лучших писателей в вашей отрасли до регулярных проверок SEO на вашем сайте. План круиз-контроля также включает поддержку специального менеджера по работе с клиентами, который координирует все аспекты вашей индивидуальной стратегии SEO и помогает вам работать с выбранными вами авторами для создания лучшего контента для ваших маркетинговых целей.

Scripted также предлагает специализированные решения, предназначенные для крупных предприятий и агентств цифрового и креативного маркетинга. С помощью Scripted for Agencies ваша компания может распределять свой контент-бюджет по нескольким кампаниям, ориентированным на широкий круг клиентов. У вас будет доступ к специальному менеджеру аккаунта, который позаботится обо всех ваших потребностях в контенте, и вы будете платить только за тот контент, который вам нужен, с неограниченным количеством пользователей и без членских взносов.

Scripted for Enterprise обслуживает крупные предприятия с помощью маркетингового решения «под ключ».Благодаря плану без членства, который включает неограниченное количество организаций и пользователей, Scripted for Enterprise предлагает специальную команду опытных писателей в вашей отрасли, которые могут работать с вами для создания хорошо изученного премиального контента.

Хотите узнать больше о контентно-ориентированных и оптимизированных для SEO маркетинговых решениях Scripted для предприятий и отраслей всех видов? Свяжитесь с нами сегодня для консультации или демонстрации.

Xenu’s Link Sleuth — бесплатный пакет программ для поиска неработающих URL-ссылок

С увеличением количества записей и URL-адресов в Интернете постоянная проверка и проверка URL-адресов веб-сайтов становится важной и потенциально трудоемкой задачей.Однако помощь под рукой.
Существует ряд моделей, которые можно использовать для регулярной проверки действительности URL-адресов веб-сайтов. Один из способов — работать со списком веб-сайтов и проверять каждый по отдельности. Это может быть удобно, если вы управляете одним веб-сайтом, но что, если бы у вас было 200, 500, 1000 или более веб-сайтов, как в случае со многими крупными предприятиями и компаниями из списка Fortune 500? Масштабы задачи начинают осознаваться, особенно потому, что она должна выполняться на регулярной основе, как и другие «хозяйственные» задачи, такие как контроль властей.
За прошедшие годы разработчики программного обеспечения и программисты разработали программное обеспечение для проверки URL-адресов, чтобы максимально автоматизировать эту задачу. Это позволяет сэкономить время на исследование и исправление неработающих ссылок. Один из таких пакетов, более подробно описанный ниже, — это Xenu’s Link Sleuth ™ , который бесплатно доступен на их веб-сайте.

Что делает Ксену?

Xenu’s Link Sleuth ™ — это программа-поисковик, которая проверяет веб-сайты на наличие битых ссылок, включая стандартные URL-адреса, изображения, фреймы, плагины, локальные карты изображений, сценарии и Java-апплеты.Список URL-адресов постоянно обновляется, и при необходимости можно установить ряд различных критериев. Программное обеспечение поддерживает веб-сайты SSL (то есть те, которые начинаются с https: //) и сообщает о перенаправленных URL-адресах.

Xenu Системные требования

Для запуска Xenu’s Link Sleuth ™ вам потребуется Microsoft Windows 95, 98, ME, NT, 2000, XP, Vista или 7. К сожалению, он не будет работать в системе Windows 3.1 или Macintosh и не поддерживается с мобильное приложение на данный момент.Однако мне сказали, что он безупречно работает под Fedora 13, Red Hat 8, Ubuntu и OS X через вино или WineBottler, а также под Crossover на Mac

.

Приступая к рутине

В Fuze мы ежемесячно проверяем ссылки наших клиентов в рамках нашей постоянной технической стратегии. Мы включаем все, от стандартных URL-адресов до PDF-файлов и изображений, поскольку абсолютно необходимо, чтобы все они отображались правильно. Используя Xenu’s Link Sleuth ™ , мы можем идентифицировать и исправлять любые неработающие ссылки.Мы постоянно находим это программное обеспечение чрезвычайно функциональным в использовании.

Дополнительная информация

Вы можете загрузить текущую версию программного обеспечения 1.1f с домашней страницы Xenu’s Link Sleuth ™ по адресу http://home.snafu.de/tilman/xenulink.html.

Xenus Link Sleuth — Соцсети

  • Firefox в 345 ящиках с инструментами
    добавить в мой ящик с инструментами

    Firefox — популярный веб-браузер с открытым исходным кодом от Mozilla

    .
  • PowerPoint в 51 ящике с инструментами
    добавить в мой ящик с инструментами

    Инструмент для презентаций, входящий в программный пакет Microsoft Office.

  • Skype в 228 ящиках с инструментами
    добавить в мой ящик с инструментами

    Бесплатная / дешевая интернет-телефония и удобный инструмент для обмена мгновенными сообщениями.

  • Вкусный в 173 ящиках с инструментами
    добавить в мой ящик с инструментами

    Создание социальных закладок в Интернете позволяет делиться находками в Интернете и находить новые. Нулевой уровень для маркировки.

  • PuTTY в 71 ящике с инструментами
    добавить в мой ящик с инструментами

    Бесплатный клиент Telnet / SSH

  • Flickr в 160 ящиках с инструментами
    добавить в мой ящик с инструментами

    Веб-служба обмена фотографиями

  • TinyURL в 45 ящиках с инструментами
    добавить в мой ящик с инструментами

    Сокращение URL-адресов (для электронной почты и общего использования)

  • SnagIt в 18 ящиках с инструментами
    добавить в мой ящик с инструментами

    Программное обеспечение для захвата экрана и редактирования изображений

  • SurveyMonkey в 65 ящиках с инструментами
    добавить в мой ящик с инструментами

    Размещаемые онлайн-опросы

  • Википедия в 132 наборах инструментов
    добавить в мой набор инструментов

    Википедия — это глобальная многоязычная совместная энциклопедия бесплатного контента на базе Интернета.

  • LinkedIn в 144 наборах инструментов
    добавить в мой набор инструментов

    Социальные сети для несоциальных целей с упором на профессиональное развитие, создание сетей для работы и решение проблем благодаря опыту тех, кто входит в вашу расширенную сеть.

  • Convio в 8 ящиках с инструментами
    добавить в мой ящик с инструментами

    Convio — это модульное размещенное решение, которое предоставляет функциональные возможности для конкретной онлайн-деятельности (сбор средств, защита интересов, мероприятия) с инструментами электронной почты и веб-публикаций.

  • .

    Добавить комментарий

    Ваш адрес email не будет опубликован.