Pour les câbles RJ45, il y en a des "droits" et des "croisés" en effet.
Qu'on me reprenne si je me trompe : les droits sont utilisés pour relier directement deux ordinateurs entre-eux (ou directement deux routeurs entre-eux), les câbles croisés sont faits pour relier un ou plusieurs ordis à un routeur (aussi appellé "hub" ou bien "switch").
Actuellement, dans l'ordre tu as donc ta prise de téléphonne, dessus tu as branché ton modem, et sur le modem il y a l'ordinateur de ta mère.
Tu peux donc faire un réseau par câbles pour rajouter ton ordi: sur le modem tu ne branches plus directement d'ordinateur mais un routeur, et c'est sur ce routeur que tu vas brancher tes ordinateurs (avec des câbles croisés, comme décrit précédamment). Ca te fait donc acheter un routeur.
Le routeur se charge de faire le tri entre les informations et les envoie suivant les ordinateurs concernés, il "route" les informations.
Mais tu peux aussi faire un réseau en wi-fi, au lieu d'un simple routeur tu auras un routeur wi-fi, donc la liaison entre les ordinateurs et ce routeur ne se feront plus par le câble RJ45 mais par ondes radio (à la louche la portée d'un réseau wi-fi domestique est de 50 mètres).
Information importante avant de commencer : Quel est le type de modem que tu as ? Moi par exemple j'ai une Livebox qui fait wi-fi, donc en allumant mon ordinateur (doté de ce qu'on appelle une carte wi-fi de norme 802.11 a/b/g ça te dit peut-être quelque-chose) il capte les réseaus wi-fi (c'est des ondes radio donc ça fonctionne comme un poste radio !

Après il faut configurer la connexion, notamment avec la clé réseau (clé WEP), qui permettra à l'ordi de se connnecter au réseau (c'est en fait un mot de passe).
Voilà pour commencer, j'ai essayé de faire assez simple et clair, j'espère ne pas t'avoir noyé dans trop d'explications.