New York est née au Sud-Ouest de Manhattan. C'est là qu'est arrivé un bateau transportant une centaine d'immigrants Néerlandais pour créer ce qui sera New Amsterdam. C'était en mai 1623.
Ils ont alors donné une personnalité commercial à l'implantation qui sera difficile à effacer, même lorsque les Anglais se sont battus pour la Nouvelle Amsterdam en 1664 pour le duc d’York qui rebaptisa la ville New York.
Contrairement à d'autres cas à travers l'Amérique où les combats entre Amérindiens et colonialistes ont été de véritables bains de sang, la colonisation de New York a été tranquille. Les tribus Algonquins et Iroquois n'ont montré aucune hostilité à l'arrivée d'étrangers habillés de manière surprenante et n'ayant aucune intention de repartir. Officiellement, ces derniers ont acheté la terre si convoitée que 24 dollars. Mais à cette époque, les tribus y voyaient une cérémonie de jumelage et de partage et non pas de possession des terres et des cultures. Tout n'était pas faux : les tribus n'ont jamais été expulsées de leurs terres et tous ont su cohabiter avec les colonialistes. Des générations plus tard, on pouvait les voir, comme tout autre New-Yorkais, dans les rues et les bars de la ville.
Les frontières du New York néerlandais ne sont pas si différentes de celles d'aujourd'hui. Il y avait une petite colonie d'esclaves où siègent maintenant les bureaux des Nations Unies. Harlem s'appelait Nieuw Haarlem et ce qu'on connaît aujourd'hui comme le Bronx était à l'époque une ferme appartenant à un immigrant Scandinave nommé Jonas Bronck...
Wall Street a aussi pour origine cette zone. Bien qu'aujourd'hui il fasse référence à une rue de New York, ce mur a été construit en 1653 par les Néerlandais afin de contrer l'invasion des Anglais. Mais il a peu servi puisque la ville a finalement été conquise dans le sang par les Anglais lorsque Peter Stuveysant, dernier maire de New York, a signé le document livrant le colonie aux Anglais en 1664.
En amont de Wall Street, où se trouvent aujourd'hui des rues comme Lafayette et Mulberry, se trouvait une zone avec un plan d'eau. Les Néerlandais l'appelaient Kalchoock. Les Anglais, eux, l'ont ensuite appelé Fresh Water Pond (plan d'eau fraîche). Il est enfin devenu Collect Pond. Ce lieu représentait le poumon de la ville.
Au XVIIIème siècle, la vie sociale autour de Collect était importante. Les gens s'y rendaient pour pique-niquer les week-ends. Le plan d'eau était riche en poisson et les New-Yorkais en profitaient mais en 1732 les autorités ont interdit l'usage de filet pour la pêche afin de préserver la faune du plan d'eau.
Il existait une île sur Collect, sur laquelle les Amérindiens qui avaient participé à l'Insurrection d'esclaves de 1741 avaient ensuite été pendus, battus, brûlés... Dans les années 1800, les New-Yorkais fuient alors les eaux de Collect Pond qui servit alors de grand dépôt de déchets. Par la suite, des tanneries, brasseries, chemins de fabrication de cordes et des abattoirs ont été construits autour du plan d'eau. Avant leur construction, les eaux étaient propres : rapidement elles se sont détériorées. En 1802, les autorités de la ville décident de drainer Collect Pond pour mettre fin à la puanteur et aux infections émanant des eaux. Quelques années plus tard, les constructions sur le site étaient autorisées bien que l'insalubrité restait encore au plus haut point.
Des édifices se construisaient alors sur ce terrain détrempé et rapidement s'effondraient. Seul une construction restait sur pieds : la brasserie Coulter qui se transformait par la suite en un immeuble de petits appartements instables. Vous l'aurez compris, ce n'est pas le meilleur endroit de la ville où vivre. Cependant, rien n'arrêtait la construction de nouvelles petites rues et de maisons en bois aux sous-sols nauséabonds dans la zone. Collect accueillant en fait les personnes qui n'étaient pas les bienvenues dans le reste de la ville.
La zone est alors devenue un refuge pour les bandits, immigrants et prostituées notamment appelé Five Points.