Mögliche Schnittstellen zur Blinden Kuh

Die große Frage, wie bekommt man 100e von Urls in die Blinde Kuh und zwar sinnig, soll hier geklärt werden. Speziell "Vertrauensvollen Sites" wollen wir das ein wenig erleichtern, die uns in dieser Sache Arbeit abnehmen möchten.

D.h.: Das Alles hier nur in Absprache mit der Redaktion.

Bei kleineren Url-Mengen, deren Inhalte sich nicht permanent ändern, etwa weil man ständig aktuelle Infos auf seinen Seiten generiert, geht es, dass man irgendwelche Schnittstellen nimmt. Die Blinde Kuh hat keinen zentralen Katalog-Editor oder so etwas, sondern wird über Tabellen gespeist. Diese kann man mit Excel selbst pflegen und werden dann in das gewünschte Format konvertiert. Bei größeren Mengen und bei ständigen Aktualitäten, macht man sich allerdings dabei irgendwie tot. 

Daher wollen wir hier gern eine XML-Schnittstelle anbieten. Ähnlich lassen sich solche Schnittstellen auch für eine Content-Integration bei der Blinden Kuh über die reine Aufnahme in den Suchraum hinaus nutzen. Muss man mal drüber aber sprechen, was, wie und ob das interessant ist. (auch RDF/RSS).

Es ist zwar auch machbar, spezielle mitdenkende Robots zu programmieren, die sich irgendwie am HTML der Seiten orientieren, aber leider ist es auch so, dass gerade bezüglich der Standard-Robot-Technologie die meisten Seiten für Kinder eher unprofessionell optimiert wurden. Selbst große Suchmaschinen leiden da etwas, aber denen sind Kinderseiten in der Regel auch egal. Nur dumme Suchmaschinenbetreiber im Kidsbereich glauben, dass da Kinder dann auch ihre Sachen finden. Die bisherigen Suchmaschinen dieser Art überzeugen eigentlich nicht so sehr. Ein an das HTML und den speziellen Site-Aufbau orientierter Robot ist dann natürlich Schach-Matt, wenn der Seitenbastler mal wieder Lust hat, seine Seiten umzubauen.

Die möglichen Verfahren werden hier nun der Reihe nach beschrieben. Alle diese Verfahren sind bereits emsig an der Arbeit, werden also schon genutzt und dies teils seit Jahren. Diese Verfahren sind nicht unbedingt typisch "Blinde Kuh", sondern werden gern gerade bei spezialisierten Suchmaschinen genutzt, auch bei den fetten großen Suchmaschinen. Bis vielleicht auf die Excel-Tabelle natürlich.

Weise ist übrigens, sein Angebot auf einzelnen Seiten zu verteilen. Wer alles in einem Flash hat, ist nicht richtig Internet und kann sicherlich auch nicht so viel mit diesen nun folgenden Anregungen anfangen. Bei Frames und solchen Albernheiten sollte man bedenken, dass eine Suchmaschine nichts mit Frames anfangen kann. Sollte dann ein Frame-Inhalt gefunden werden, muss man schon selbst mit ein wenig Javascript das Frameset nachladen. Besser aber ist, so etwas gar nicht erst zu tun, Frames und, wenn es geht, auch keine PopUps oder andere Javascript-Links. Nie vergessen, Robots können nicht denken, vielleicht in Science Fiction Filmen, aber in echt eher nicht.

Nicht jedes Verfahren kann nun wirklich jeder auch machen. Teils sind technische Hoheiten auf dem Server notwendig, damit man dann Scripte basteln kann, die das alles von Geisterhand machen. Teils geht es auch erst einmal nur um die schnelle schmutzige Lösung ;o) Wir hoffen aber, sogenannten "Vertrauensvollen Sites" hier allgemein entgegen kommen zu können, und zur Not, mal schauen, gibt es halt noch ein Verfahren, was hier nun noch nicht aufgeführt ist.

Die Excel-Tabelle

Mit ihr ist es machbar, mehrere Seiten auf einmal in die Suchmaschine zu bringen.

Dabei gibt es verschiedene Felder:

Jeder Eintrag wird einem BEREICH zugeordnet. Diese Bereiche gibt die Blinde Kuh vor und kann man zur Not jederzeit nachsehen unter "Suchbereiche der Blinden-Kuh". Hier ist zu bedenken, dass die Suchmaschine automatisch auch Oberbegriffe zuordnet. Tiere sind natürlich auch Natur. Fernsehen ist auch Medien. Wikinger sind auch Kulturen. Es reicht daher der engere Begriff für einen Bereich. Weniger ist am Ende mehr. Da aber diese Zuordnung schon etwas auf den Gesamtsuchraum hin optimiert werden muss, ist hier etwas Absprache notwendig, zumal Kategoriensystem ja nicht in allen Köpfen immer gleich sind. Es geht ja schließlich, um mit Michel Foucault zu sprechen, um "Die Ordnung der Dinge". Ein übrigens empfehlenswertes Buch. Wir fahren hier also ganz revolutionär den eher Phänomenologischen Ansatz und nicht irgendeine Piddelpaddel-Ontologie der vor christlichen Zeit. Nach Leibniz daher also: "Es gibt verschiedene mögliche Welten" und die gilt es hier zusammen zu bringen.

Je nach Wichtigkeit der Seite, da muss man schon etwas ehrlich sein, kann hier im Feld WERTIGKEIT gesteuert werden. Ist es nicht die super tolle Sache, dann lieber unter den Wert 50 bleiben. Das muss allerdings mit der Redaktion der Blinden Kuh etwas abgesprochen werden. Möglich sind nun dadurch auch Archive oder etwa Buch-Tipps oder einzelne Rezepte. Dies würden sonst zu sehr im Suchraum streuen und die Kinder eher verwirren.

Wichtig, jeder Eintrag hat einen aussagekräftigen TITEL, der aber nicht unendlich lang sein sollte. Dabei heißt "aussagekräftig" eben, dass er auch außerhalb des Angebotes aussagekräftig genug für Kinder ist. Immer dran denken, die Kinder suchen dann innerhalb des Kontextes der Suchmaschine. Sie sind dann nicht schon auf den Zielseiten.

Logisch, die URL darf nicht fehlen. Bitte kein # und solche Sachen anhängen. Dynamische Dinge, etwa durch php-Scripte und solche eher Unschönheiten im Internet gehen auch. Blöd ist natürlich, wenn sich aber der Inhalt dann ändert, weil man an dem php-Script unbedingt rumfummeln musste.

Da die Blinde Kuh eine robot-gestützte Stichwort-Suchmaschine ist, muss jeder Eintrag verschlagwortet werden. Der Volltext interessiert nicht.

Jeder Eintrag wird braucht eine BESCHREIBUNG, die erklärt, was genau auf dieser einen Seite zu sehen, zu lesen und zu haben ist, und zwar Kindern muss das erklärt werden. Dabei bitte nicht zu cool und zu krass sein, dafür aber sachlich bleiben. Max. 200 Zeichen.

Bestimmte Ausdrücke lohnen sich als STICHWORTE, Kinder suchen oft ganz anders, als sich das Erwachsene denken. Mal abgesehen davon, dass sie dabei auch einiges falsch schreiben. Handelt es sich um eine Seite über Ameisen, macht es teils Sinn, auch das Wort "Insekten" einzubringen. Auch hier gilt, weniger ist mehr. Es wird als Spam aufgefasst, wenn durch diese Verschlagwortung, diese Seite immer raus kommt, egal was man sucht. Bei Spam wird von der Redaktion der Blinden Kuh dann alle Einträge dieser Tabelle herunter-gerankt, bekommen also eine echt miese Wertung zum Abgewöhnen ;o)

Damit diese Seite nicht unnütz gefunden wird, wo sie ja eigentlich nicht gefunden werden sollte, und damit die Stemmingalgorithmen, die Einzahl, Mehrzahl oder Oberbegriffe zuordnen, nicht unsinnige Dinge machen, gibt es das Feld AUSSCHLUSS. Ein Beispiel "Die Concorde wird nicht mehr fliegen". Die Blinde Kuh macht aus "fliegen" auch "Insekten" und aus "Insekten" eben "Tiere". Diese Seite würde mit Tiere gefunden werden. Um das zu verhindern, ist "fliegen" ein Wort, dass ausgeschlossen werden muss.

Auch diese Daten müssen sein. Das LAND ist das Land in dem das Angebot liegt. Ein Angebot aus Deutschland hat dann logischerweise hier "Deutschland" stehen. Die SPRACHE wird wohl "Deutsch" sein. Wenn nicht, dann da eben die Sprache rein schreiben, in der diese Seite verfasst wurde. Bitte nicht Dinge wie "Hochdeutsch".

Als DATUM fungiert das Erstellungsdatum, weil es eine Rolle in der Sortierung spielt. Das Format bitte einhalten, das ist DD.MM.YYYY, als numerisch wobei der Monatstag und der Monat 2-sstellig sind und das Jahr eben 4-stellig, alles getrennt mit einem Punkt. Keine neuen Formate bitte erfinden, das tut nicht Not.

Als besonderen Leckerbissen bieten wir das Feld QUELLE an. Okay, da eben diese Tabellen eh immer die selbe Quelle haben, also den, der sie macht, ist das ja meist gleich. In Absprache mit der Redaktion der Blinden Kuh kann man für seine Einträge in der Suchmaschine ein Extra-Icon haben, wenn man natürlich ganz lieb bettelt und viele kleine Giveaways zu verschenken hat ;o) Das Format für das Icon ist dann GIF, 40x40-Pixels, sollte es einen quadratischen Hintergrund geben, dann 38x38 Pixel. Das muss ja schließlich auch aussehen. In einer intensiven und äußerst feinfühligen Diskussion, kann man das mit der Blinden Kuh aushandeln, wie peppig das sein darf. Und auch hier, bitte, keine albernen Animationen.

Weiteres Vorgehen

Diese Tabelle hübsch aufbewahren. Sie dient als Schnittstelle zwischen den Redaktionen und wird bei Änderung vom Verursacher dann der anderen Redaktion via Mail oder sonst wie (nicht via FAX) dann ausgetauscht. Bei der Blinden Kuh wird diese dann besichtigt, für gut befunden, konvertiert und in den Suchraum geworfen.

Nobody ist perfect. Natürlich üben wir das erst einmal hübsch. Es ist machbar, diese Tabelle erst einmal testweise in die Suchmaschine zu stecken, ohne dass der Rest der Welt die ersten zarten Schritte der Selbsterfahrung mitbekommt.

Unabgesprochene Tabellen werden nicht bearbeitet. bevor man meint Tabellen zu basteln, macht es daher immer Sinn, sich mit der Redaktion der Blinden Kuh zu einigen. Sonst war all die Mühe ganz vergebens.

Bei speziellen Sachen kann es noch Felder dazu geben.

Die Excel-Tabelle dient somit als Schnittstelle. MS Excel oder was auch immer ist dann ein Client für unseren Katalog-Editor.

Es ist auch machbar, speziell ein Thema, etwa "PopStars" so zu bearbeiten, in einer eigenen Tabelle.

Standard-Crawl wie bei den Großen

Wir sagten "robot-gestützte" Suchmaschine. Das bedeutet, die Blinde Kuh hat eigene Robots. Jeder für sich eine Insellösung, der sich zaghaft an das HTML seines Opfers schmiegt und daraus für ihn relevante Daten herausschnippelt. Er hangelt sich durch die Links und kann so gesteuert werden, dass er nicht sonst was macht.

Dem kämen folgende Dinge entgegen:

1. Eine Sitemap, eine Art Inhaltsverzeichnis

Natürlich kann ein Crawler der Blinden Kuh sich auch irgendwie so durch das Angebot hangeln, indem er den Links folgt. Auch das läßt sich steuern uns auch das macht uns Arbeit.

Wozu in der Gegend herum Crawlen? Eigentlich soll ja nicht jede Seite nun gefunden werden, sondern ganz bestimmte Themen-Seiten etwa. Diese werden dann einzeln an einer sogenannten Sitemap im lässigen aber einfachen HTML angeheftet.

Sieht so aus:

<a href="Url1">Themen-Seite1</a>
<a href="Url2">Themen-Seite2</a>
<a href="Url3">Themen-Seite3</a>
<a href="Url4">Themen-Seite4</a>

Dabei kann da irgend ein anderer Quatsch drumherum stehen, es kann also ein stinknormales Inhaltsverzeichnis sein, Hauptsache es gibt darin eben all die Links zu den Unterseiten.

Alles was hier verlinkt ist, wird noch einmal einzeln heim gesucht.

In den Unterseiten macht es schon Sinn, den Robot nicht zuviel raten zu lassen. Intelligenz hin und her bei Maschinen, aber was genau da nun die Überschrift ist, was der Text, was ein Teaser und was die Navigations-Beschreibungen für weitere Links, kann ein Robot nicht erkennen.

Profis machen das daher so, sie halten den sogenannten Standard großer Suchmaschinen ein.

2. Eine Verschlagwortung (Meta-Beschreibung) in den einzelnen Seiten.

Im Head-Bereich des HTML-Quelltextes steht dann so etwas wie:

<TITLE>Der Titel<TITLE>
<META NAME="description" content="Die Beschreibung">
<META NAME="keywords"    content="Die Stichworte">
<META NAME="topics"      content="Die Bereiche">

Nun ist es so, dass es das für die Suchmaschinen der Großen sicher anders zu machen ist, als für eine Suchmaschine vom Typ Blinde Kuh, weil die Suchmaschinen der Großen eben eher Volltext-Suchmaschinen sind. Meist ist das zu spammig für die Blinde Kuh, da es ja nicht auf die Blinde Kuh speziell hin optimiert ist. Außerdem fehlt bei den Standard-Metatags die Hälfte, die aber in einer spezialisierten Suchmaschine nicht fehlen darf.

Also erlauben wir auch ein Code á la Dublin-Core in Form eines BK-Core:

<META NAME="bk.titel"       content="Der Titel">
<META NAME="bk.description" content="Die Beschreibung">
<META NAME="bk.keywords"    content="Die Stichworte">
<META NAME="bk.topics"      content="Die Bereiche">
<META NAME="bk.exclusions"  content="Auszuschließende Wörter">
<META NAME="bk.date"        content="Datum im Format DD.MM.YYYY">
<META NAME="bk.language"    content="Die Sprache">
<META NAME="bk.country"     content="Das Land">
<META NAME="bk.value"       content="Die Wertigkeit">
<META NAME="bk.source"      content="Quellangabe nach Absprache">
<META NAME="bk.autor"       content="Falls fremder Author">
<META NAME="bk.type"        content="Spiel, Thema, oder sowas">
<META NAME="bk.mediatype"   content="Flash, Frames, HTML, PHP, etc">
<META NAME="bk.audience"    content="geeignet ab welchen Alters">
<META NAME="bk.relation"    content="Index, Topic, Subtopic">

Auch das nur machen, wenn es eine Absprache mit der Blinden Kuh gibt. Sonst arbeitet man irgendwie umsonst.

Wer uns erklären möchte, wie große Suchmaschinen funktionieren, sollte sich darauf gefasst machen, dass bei der Blinden Kuh Leute arbeiten, die selbst Manager bei großen Suchmaschinen waren, oder Entwickler oder was auch immer, und die teils auch heute noch bei Unternehmen arbeiten, die durchaus mit den Standards und auch der Entwicklung bei Suchmaschinen vertraut sind. Ebenso arbeitet mancher davon für recht große Zeitungen und Fernsehsender und hilft diesen, deren Seiten für Suchmaschinen aller Art zu optimieren. Dinge, die auf den Hilfeseiten dieser Suchmaschinen stehen, sind also allen bekannt, auch uns. Trotzdem davon ausgehen, dass die Blinde Kuh teils ein völlig anderes Konzept verfolgt, dass man etwa in der NEWS-Suche der großen Suchmaschinen bewundern kann. Also bitte daran orientieren und nicht an Spielzeug-Robots von FreeDownLoadPerl-Scripten.

Auch die bk-codes sind etwas zu modern, daher kann man hier gern noch rumdiskutieren.

ICRA-Code? Müssen wir mal überlegen, ob der uns eigentlich irgendwie interessiert. Bewahrpädagogik schön und gut, aber wir bauen hier eine Suchmaschine für Kinder, die schon lesen können, oder zumindest jemanden kennen, der lesen kann, oder mal von jemanden gehört haben, der lesen kann. Gespräche mit ICRA sind jedenfalls anvisiert. Noch sind die beiden medienpädagogischen Konzepte nicht kompatible. Hier geht es darum, dass Kinder ihre Sachen schnell finden, sonst suchen die nämlich ganz woanders. Wir wollen genau das erleichtern und nicht blockieren.

Bei Standard-Robots gibt es noch ein Thema, nämlich das Ausschließen von Seiten für die Robots. Das bitte etwas unter Robotstxt.org anlesen. Auch das könnte ein Robot der Blinden Kuh einhalten, wenn es denn sein muss. Wir sind sogar am Grübeln, ob wir in dieser Sache die Google-Erweiterungen unterstützen. Mal sehen.

Die XML-Schnittstelle

Schön ist, wenn niemand etwas tun muss. Einmal alles einrichten und gut ist. Kleine Heinzelmännchen tragen dann alles in die Suchmaschine. Viel schöner ist, wenn man keine extra MonsterMitdenk-Robots für lediglich 10 Seiten schreiben muss, weil das enorm viel Arbeit ist und bei jedem Relounch einfach nur nervig wird.

Statt alles durch zu crawlen und sich am HTML zu orientieren, hat der Liebe Gott oder auch jemand anderes, das soll hier egal sein, uns eine Sprache geschenkt, mit der man Standards vereinbaren kann, und die der Volksmund lapidar "XML" nennt.

Das klingt technisch ist aber eher philosophisch (nicht esoterisch oder so, sondern eher traditionell philosophisch, im Sinne des Konstruktivismus, also der Erlanger Schule).

Dann wird nur einmal diese Datei abgeholt und gut ist.

Das sieht so aus: Zeichensatz bitte in windows-1252 , andernfalls eben entsprechend angeben. Dann bitte die Umls richtig machen, also die Entities für 

&  = &amp;

"   = &quot;

<  = &lt;

>  = &gt;

wenn diese nicht zur XML-Struktur gehören. Die Syntax kann man prüfen. Wenn das im MSIE ab 4 gut aussieht, ist gut genug. Für Linux-Freunde sollte xmllint ein Maßstab sein. Eine Bitte noch, nicht so viele blöde Interpunktionszeichen wie » « oder Word-Anführungszeichen unten und oben, da einfach mal ein normales &quot; wagen.

<?xml version="1.0" encoding="WINDOWS-1252" ?>

<index search-engine="blinde-kuh">

 <header>
  <name>Wie sie möchten</name>
  <code>Wird dann speziell vereinbart</code>
  <date>Erstellungsdatum dieser datei</date>
  <count>Anzahl der Eintraege</count>
  <nextvisit>Datum, wann die BK das wieder besuchen soll</nextvisit>
  <default_source>Vereinbarter Code, sonst de, at,
    oder ch</default_source>
  <default_keywords>Stichworte für alle Eintraege</default_keywords>
  <default_topics>Bereiche für alle Eintraege</default_topics>
  <default_language>Sprache für alle Eintraege</default_language>
   ...
  <icon>Url des GIF-Icons, wenn vereinbart</icon>
 </header>

 <entry id="00001">
  <title>Der Titel</title>
  <url>Die Url</url>
  <description>Die Beschreibung</description>
  <keywords>Die Stichworte</keywords>
  <exclusions>Die Ausschlussworte</exclusions>
  <value>Die Wertigkeit</value>
  <topics>Die Bereichsnamen</topics>
  <date>Das Änderungsdatum, bzw Erstellungsdatum</date>
  <language>Die Sprache</language>
  <country>Das Land</country>
 </entry>

 <entry id="00002">
  <title>Der Titel</title>
  <url>Die Url</url>
  <description>Die Beschreibung</description>
  <keywords>Die Stichworte</keywords>
  <exclusions>Die Ausschlussworte</exclusions>
  <value>Die Wertigkeit</value>
  <topics>Die Bereichsnamen</topics>
  <date>Das Änderungsdatum, bzw Erstellungsdatum</date>
  <language>Die Sprache</language>
  <country>Das Land</country>
 </entry>

 <entry id="00003">
  <title>Der Titel</title>
  <url>Die Url</url>
  <description>Die Beschreibung</description>
  <keywords>Die Stichworte</keywords>
  <exclusions>Die Ausschlussworte</exclusions>
  <value>Die Wertigkeit</value>
  <topics>Die Bereichsnamen</topics>
  <date>Das Änderungsdatum, bzw Erstellungsdatum</date>
  <language>Die Sprache</language>
  <country>Das Land</country>
 </entry>

   usw.

</index>

Weil das so schön revoluzzig ist, gibt es noch keine DTD. Auch hier sind wir gern offen für konstruktive Ideen.

Die Lage dieser Datei wird dann vereinbart. Und wer will, soll sie halt in einen geschützten Bereich stecken. Ansonsten darf diese Datei blindekuh.xml heißen.

Auch das nur extra machen, wenn man hier eine Vereinbarung mit der Redaktion der Blinden Kuh hat. Es können weitere Felder dazu kommen, je nachdem welche Inhalte noch irgendwie anders bei der Blinden Kuh zu integrieren sind.

RDF/RSS - Newsfeeds

Dazu Links für die, die da gern noch zu Informationen nachblättern möchten

• Resource Description Framework (RDF)
• RSS 2.0 HLS: Information Technology Services: Web Services

Hierbei handelt es sich um ein Standardformat, in dem Nachrichtensender vor allem ihre Schlagzeilen ausliefern können, und was auch von recht vielen deutschen Print- und Fernsehsendern genutzt wird. Beispiel

Die Schlagzeilen der Tagesschau

Kleiner Haken, es enthält für Suchmaschinen vor allem für spezialisierte Suchmaschinen nicht alle relevanten Daten. Wir würden für die fehlenden Elemente ein spezielles crawl-Modul unterstützen.

  ...
 <item>
  <title>Der Titel</title>
  <link>Die Url</link>
  <description>Die Beschreibung</description>
  <crawl:keywords>Die Stichworte</crawl:keywords>
  <crawl:exclusions>Die Ausschlussworte</crawl:xclusions>
  <crawl:value>Die Wertigkeit</crawl:value>
  <dc:subject>Die Bereichsnamen</dc:subject>
  <dc:date>Das Änderungsdatum, bzw Erstellungsdatum</dc:date>
  <dc:language>Die Sprache</dc:language>
  <dc:country>Das Land</dc:country>
 </item>
  ...

Man kann auch ein extra Blindekuh-Modul mit einem XML-Namespace bk nutzen und das dann notfalls erweitern:

<?xml version="1.0" encoding="ISO-8859-1" ?>
<rss version="0.91"   xmlns:bk="http://www.blinde-kuh.de/schnittstellen.html">
<channel>
<title>Name des Angebotes</title> 
<link>Url der Startseite</link> 
<description>Beschreibung des Angebotes</description> 
  ...
 <item>
  <title>Der Titel</title>
  <link>Die Url</link>
  <description>Die Beschreibung</description>
  <bk:keywords>Die Stichworte</bk:keywords>
  <bk:exclusions>Die Ausschlussworte</bk:exclusions>
  <bk:value>Die Wertigkeit</bk:value>
  <bk:topics>Die Bereichsnamen</bk:topics>
  <bk:date>Das Änderungsdatum, bzw Erstellungsdatum</bk:date>
  <bk:language>Die Sprache</bk:language>
  <bk:country>Das Land</bk:country>
 </item>
  ...
 </channel>
</rss>

Es gibt einen großen Nachrichtensender in Deutschland, der einen Standard für diese Erweiterung vorschlagen wird, und dem nebst anderer großer Suchmaschinen auch die Blinde Kuh folgen wird. (Sie hängt eigentlich auch schon an dieser Schnittstelle.) Bis dahin würden wir uns auch dem anpassen, was da ist und was bevorzugt wird, falls es auch eigene RSS-Module gibt.

Konkrete Rück- und Anfragen

Wer mit uns bereits in Gesprächen ist kann natürlich jederzeit anrufen.

Werbeagenturen nerven uns bitte jetzt nicht über das Telefon, da die ja nur an ihren eigenen Seiten interessiert sind, und nicht an dem Ausbau und die Vernetzung des Internets der Kinder. Und darum geht es ja nun hier, oder?

Ansprech-Partner für diese Verfahren ist Stefan R. Mueller

Weitere Daten stehen ja auch irgendwie im Impressum