Suchmaschine Programmieren

Wenn wir auf Platz 1 kommen kann ich dir geheime Kontakte empfehlen: @Defkil
Denke aber nicht, dass er derzeit so viel Zeit hat. Ist sehr aufwendig und man braucht riesen Ressourcen um das zu crawlen, ist eigentlich für Privatpersonen fast unmöglich.

Mach doch sowas wie z.B. ForenVz.EU Weltweites Forenverzeichnis sprich eine Liste, wo sich Schulen eintragen können. Das wäre deutlich sinnvoller.

Dir sollte klar sein, dass du erstmal eine massive Anzahl an verschiedenen, nicht gerade simplen, Algorithmen umsetzen musst.
Das fängt damit an, dass du einen Bit bauen musst, der sich möglichst schnell und möglichst effizient durch das Internet bewegt und dir alle möglichen Seiten rauszieht, die für dich interessant sind. Dann müssen die noch irgendwie bewertet werden und das möglichst so, dass der Webmaster einer Seite sie nicht so manipulieren kann, dass er immer ganz oben in jeder Suche steht.

Des Weiteren brauchst du eine intelligente Wortkorrektur, damit auch jemand was findet wenn er Reahlschule eingibt.

Wenn du keine Ahnung von PHP hast, würde ich mir das schonmal direkt aus dem Kopf schlagen, denn nur mit PHP ist es da wohl nicht getan.

Gomze:
Der nette Hr. fnL hat Dir eine hilfreiche Antwort zum erstellen einer Suchmaschine gepostet. Mehr gibt es dazu nicht zu sagen. Wenn Du ein sinnlose Antwort als sinnlos bezeichnest und es ignorierst wird Dir keiner mehr helfen.
Wie Hr. @fnL schrieb, sobald Du die PHP-Sprache nicht beherschst, kannst Du deine eigene Suchmaschine vergessen.

Gruß

siehe Link: https://developer-blog.net/pro…ine-selber-programmieren/

wenn du das nur für euch machst und nur für wenige seiten ist das nicht so super anspruchsvoll denke ich

du kannst einzelne seiten crawlen und abbrechen wenn ein link nach außen kommt, dann die db durchsuchen
bei wenigen seiten brauchst du keine super effizienz und keinen super komplizierten algorithmus um die reihenfolge zu bestimmen (niemand optimiert seine seite für deine suchmaschine)

du willst nicht google oder bing nachprogrammieren, und dann ist das auch nicht unmöglich, eine mini suchmaschine kannst du beliebig kompliziert machen (also auch sehr sehr einfach)

du brauchst also eine sprache mit der du webseiten runterlädst und in deine db packst, dazu kannst du jede programmiersprache nehmen, und eine für das webinterface, zum beispiel php python oder so
natürlich musst du aber trotzdem erst etwas mit der sprache umgehen können, gerade wenn du noch überhaupt nicht programmieren kannst

Ich würde euch zum entwickeln NodeJS empfehlen, ein Server der mit Javascript läuft. Mit Modulen wie request/request · GitHub kannst du beispielweise den Inhalt von Seiten dir holen und mit cheeriojs/cheerio · GitHub das ganze verarbeiten. Dann kommt noch die Frage, welche Datenbank, MySQL wäre sehr langsam, Redis ist sehr schnell, wäre aber auch sehr schnell befüllt und auf zeit teuer (DB im Arbeitsspeicher), CouchDB oder noch besser MongoDB wären optimal, allerdings habe ich mit MongoDB keine Erfahrung, allerdings gibt es sehr viele Tutorials dazu. Für wie viele Seiten hast du das ganze vorgestellt? Werden die Adressen per hat eingefügt? Oder auch die, die auf Seiten verlinkt sind?

Großes Vorhaben + Großes Ziel = Großes Geld investieren

Für eine Suchmachine benötigst du einfach gesagt, ein Großen Leistungsfähigen Server =).

Hi,

als Privatperson ist das sehr schwierig so ein Projekt zu stemmen.
Aber lass dir dein Projekt nicht ausreden, sowas ist immer gut

Lg
Max

Für ein paar Seiten reicht ein vServer, wegen einer DB: Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison :: Software architect Kristof Kovacs bester vergleich

Zitat von Gomze

Suche Hilfreiche Antworten! Sinnlose werden Ignoriert!

Hättest du weniger Zeit investiert in diese Antwort zu schreiben und mehr in meine Antwort zu verstehen, würdest du die Sinnhaftigkeit meiner Antwort zu schätzen wissen.

Zitat von Gomze

Unter Hilfreich verstehe ich z.B. "Du solltest Anfangen die Sprache zu lernen, hier ein Link wo du ein Buch kaufen kannst", anstatt mir zu sagen was ich nicht kann

Google ist dein Freund
Das wird grob geschätzt 5x am Tag in jedem x-beliebigen Forum gefragt, das sich im Entferntesten mit Programmieren befasst.
Erstmal solltest du uns dann vielleicht auch sagen mit welcher Programmiersprache du überhaupt anfangen möchtest. (PHP, JS, Java, C#, Visual Basic, C++, C, Fortran?!, ...) Schließlich können wir nicht in deinen Kopf schauen, geschweige denn die Sprache für dich lernen.

Zitat von frohike

(niemand optimiert seine seite für deine suchmaschine)

Es redet ja auch niemand von Suchmaschinenoptimierung. Irgendwie will er aber wohl seine Suchergebnisse sortiert haben, und das möglichst nicht nach dem Alphabet. Dazu muss er die Seiten irgendwie bewerten und dazu ist ein Algorithmus notwendig.
Ein einfaches Beispiel wäre das Reference Counting, das Google in den Anfangszeiten auch verwendet hat. Man zählt also wie oft eine Seite auf anderen Seiten erwähnt wird. Je öfter die Seite erwähnt wird, desto beliebter ist die Seite. Dieser Ansatz ist schon extrem gut und für eine kleine Suchmaschine mehr als ausreichend.

Zitat von Defkil

Für ein paar Seiten reicht ein vServer, wegen einer DB: Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison :: Software architect Kristof Kovacs bester vergleich

Für ein paar Seiten braucht man keinen vServer, schon gar nicht wenn man von der Materie null Ahnung hat.
NoSQL Datenbanken sind für den Zweck auch mehr als ein Overkill. Letztlich will er nichts groß cachen und darin ablegen sondern lediglich ein Seitenverzeichnis bauen. Dafür reicht jede relationale Datenbank bei Weitem aus. Sofern er das Transaktionskonzept kennt und nicht total gegen es arbeitet wird die Performance für seinen Verwendungszweck auch definitiv ausreichend sein.

Auch wenn das Thema fast einen Monat lang nicht angerührt wurde:
Ganz einfach, erstell dir via Google Custom Search Engine eine eigene Suchmaschine in der du nur die für dich relevanten Seiten einträgst, lass Google die "Drecksarbeit" machen und binde bei dir auf der Seite nur das ein, was dir Google liefert. Kostet nichts und hat nur einen minimalen Aufwand.

Hier kannst du das ganze machen: Anmelden – Google Konten

Hey

Finde die Idee super, hoffe, dass es geklappt hat und dass ihr Erfolg hattet. Ich beschäftige mich in letzter Zeit sehr viel mit dem Thema Suchmaschinenoptimierung, habe sogar eine SEO Agentur kontaktiert um Hilfe bei einem Projekt zu bekommen, und bis jetzt finde ich alles super interessant. Ich könnte mir sehr gut vorstellen beruflich etwas in dieser Richtung zu machen, denn so wie ich es gesehen habe, ist der Arbeitsmarkt dafür sehr groß und man kann schnell eine Stelle finden. Überhaupt ist alles, was mit Computer zu tun hat, eine gute Perspektive für die berufliche Zukunft.