Το νησί είναι μικρό, με διαστάσεις σχεδόν 400x250 μέτρα. Μαζί με το "αδερφάκι" του South Brother Island, και τα δυο μαζί έχουν έκταση 81.400 τετ. μέτρα.
Το North Brother ήταν ακατοίκητο μέχρι 1885, όταν μεταφέρθηκε εκεί το Riverside Hospital από το Roosevelt Island.
Το Riverside Hospital ιδρύθηκε στα 1850 σαν Smallpox Hospital για τη θεραπεία και απομόνωση ασθενών με ευλογιά. Σύντομα, άρχισε να δέχεται και ασθενείς με άλλες ασθένειες. Η Typhoid Mary (ο πρώτος άνθρωπος στις ΗΠΑ που διαγνώστηκε ως ασυμπτωματικός φορέας) περιορίστηκε στο νησί για πάνω από δύο δεκαετίες μέχρι που πέθανε εκεί το 1938.
Το νοσοκομείο έκλεισε σχεδόν αμέσως μετά. Μετά τον Β΄ Παγκόσμιο Πόλεμο, στο νησί φιλοξενήθηκαν βετεράνοι του πολέμου. Κάποια στιγμή και μετά την λύση που είχε δημιουργηθεί με την έλλειψη σπιτιών στις ΗΠΑ, το νησί εγκαταλείφθηκε και πάλι.
Στα 1950 άνοιξε ένα κέντρο αποτοξίνωσης ανηλίκων, αλλά λόγω της διαφθοράς των υπαλλήλων και της υποτροπής των ασθενών -τους κλείδωναν για μέρες σε ένα δωμάτιο- έκλεισε στις αρχές του 1960.
Πλέον είναι εγκαταλελειμμένο. Πολλά από τα κτήρια του νοσοκομείου υπάρχουν ακόμα, αλλά είναι επικίνδυνα κατάρρευσης. Από το 1980 μέχρι και το 2000 το νησί ήταν καταφύγιο για νυχτοκόρακες. Αλλά και τα πουλιά το εγκατέλειψαν το 2011 για άγνωστους λόγους.
Πριν τέσσερις μήνες ο Redditor Victav ανέβασε μια συλλογή 41 φωτογραφιών στο Imgur. Το άλμπουμ έχει ήδη πάνω από 230.000 θεάσεις. Ο Victav πήγε στο νησί με κανό, με ένα φίλο του και έμεινε στο νησί τρεις ώρες. Αλλά προειδοποιεί τους επίδοξους αστικούς εξρευνητές, ότι εξαιτίας του ότι το νησί είναι κοντά στην πόλη, το αεροδρόμιο, το εργοστάσιο ενέργειας, ένα ταμιευτήρα νερού και μια φυλακή, ελέγχεται αυστηρά από την αστυνομία και την ακτοφυλακή.
