- Start
- Nasz robot
Dla właścicieli stron i administratorów
klyo-przeswietlarka — kim jesteśmy i jak nas zablokować
Jeśli trafiłeś tu z logów swojego serwera: to nasz program, który pobiera stronę główną, gdy ktoś poprosi o jej sprawdzenie w naszym darmowym narzędziu. Poniżej jest wszystko, co powinieneś o nim wiedzieć, łącznie z tym, jak mu zabronić wstępu w jednej linijce.
Jak nas rozpoznać
Podpis, którym się przedstawiamy
klyo-przeswietlarka/1.0 (+https://klyo.pl/robot/)Ten podpis idzie w każdym naszym żądaniu. Nie udajemy przeglądarki i nie zmieniamy go, żeby przemknąć niezauważenie. Jeśli widzisz w logach coś innego, to nie jesteśmy my.
Wszystkie odczyty wychodzą z jednego serwera w Niemczech, tego samego, na którym stoi klyo.pl.
Jak nam zabronić
Dwie linijki w pliku robots.txt
User-agent: klyo-przeswietlarka
Disallow: /Czytamy ten plik przed każdym odczytem i uszanujemy zakaz — narzędzie powie wtedy człowiekowi wprost, że właściciel nie życzy sobie automatów, i nie pokaże żadnego wyniku.
Blokada w zaporze albo w panelu dostawcy też zadziała. Nie próbujemy jej obchodzić: gdy zobaczymy ekran zapory, mówimy o tym wprost i odpuszczamy na kilka godzin.
Zasady
Czego nasz robot nie robi
Piszemy to wprost, żeby nikt nie musiał zgadywać ani analizować naszego zachowania w logach.
Nie chodzi po witrynie
Pobieramy jeden adres — ten, który człowiek wpisał. Nie idziemy za linkami, nie pobieramy podstron, obrazków ani plików. Jedno żądanie, jedna odpowiedź, koniec.
Nie przychodzi sam z siebie
Nie mamy harmonogramu ani listy stron do obchodzenia. Każdy odczyt jest skutkiem tego, że ktoś wpisał adres i nacisnął przycisk. Bez ludzi nasz robot śpi.
Nie zbiera danych osobowych
Sprawdzamy, czy na stronie jest numer telefonu, adres e-mail i formularz — ale zapisujemy tylko odpowiedź „jest” albo „nie ma”. Samych danych nie przechowujemy i nikomu nie przekazujemy.
Nie omija zabezpieczeń
Nie logujemy się, nie rozwiązujemy zagadek dla ludzi, nie zmieniamy adresu wyjściowego i nie kupujemy przejść przez cudze łącza. Zamknięte drzwi zostają zamknięte.
Nie obciąża serwera
Najwyżej sześć odczytów jednej domeny na godzinę, odstęp między żądaniami, a wynik przez kwadrans oddajemy z pamięci. Dziesięć osób sprawdzających ten sam adres to dla ciebie jedno pobranie.
Nie kopiuje treści
Nie budujemy z twojej strony żadnej bazy do dalszej odsprzedaży. Zapisujemy wynik pomiaru, nie tekst. Wyniki starsze niż pół roku kasujemy same z siebie.
Pytania
Najczęstsze pytania administratorów
Widzę klyo-przeswietlarka w logach. Co to jest?
To nasz program, który pobiera stronę główną wskazanego adresu, gdy człowiek poprosi o to w prześwietlarce na klyo.pl. Nie chodzi po całej witrynie, nie zbiera adresów e-mail, nie kopiuje treści i nie wraca sam z siebie.
Jak zabronić wam wstępu?
Dopisz w pliku robots.txt na swoim serwerze dwie linie: User-agent: klyo-przeswietlarka oraz Disallow: /. Sprawdzamy ten plik przed każdym odczytem i uszanujemy zakaz. Blokada w zaporze też zadziała — nie próbujemy jej obchodzić.
Ile razy pukacie do jednej strony?
Najwyżej sześć razy na godzinę, a wynik przez kwadrans oddajemy z pamięci, więc dziesięć osób sprawdzających ten sam adres to dla twojego serwera jedno pobranie. Między żądaniami zachowujemy odstęp, a gdy zaczniesz nas odrzucać, przestajemy próbować na kilka godzin.
Czy zapisujecie treść mojej strony?
Nie. Zapisujemy tylko wynik pomiaru: na czym stoi strona, ocenę widoczności, listę najczęstszych zwrotów i listę usterek. Sam kod strony znika z pamięci zaraz po odczytaniu. Wyniki starsze niż pół roku kasujemy.
Czy to nie jest scraping?
Czytamy dokładnie to, co twój serwer wysyła każdemu odwiedzającemu, jednym żądaniem, na wyraźną prośbę człowieka. Nie logujemy się, nie omijamy zabezpieczeń, nie udajemy przeglądarki i nie pobieramy podstron. Przedstawiamy się w każdym żądaniu.
Znalazłem błąd albo chcę, żebyście przestali. Jak się skontaktować?
Napisz na kontakt@klyo.pl. Odpowiadamy w jeden dzień roboczy. Na prośbę właściciela wpisujemy domenę na listę, której nie odczytujemy w ogóle — bez pytania o powód.
Skoro już tu jesteś
Zobacz, co nasz robot mówi o twojej stronie
To samo narzędzie, które właśnie odwiedziło twój serwer, możesz uruchomić sam. Wklejasz adres i widzisz, na czym stoi strona, jak widzi ją Google, na jakie słowa celuje i czego jej brakuje. Za darmo i bez zakładania konta.
Zaktualizowano