OVH Community, your new community space.

Sieć BHS


oles@ovh.net
26-05-2012, 20:12
Witam,

Mówiliśmy trochę o budynku, sieci elektrycznej,
wieżach i serwerach w fazie BETA. Nie mówiliśmy
jeszcze o sieci w BHS.

Z każdym tygodniem jest coraz lepiej.

Aktualnie mamy 3 pary światłowodów między DC
BHS i Montrealem. Zarządzamy nimi samodzielnie,
mamy 2x80Gbps. Podjęliśmy decyzję o utworzeniu naszego
głównego punktu POP w Montrealu w Cologix 3 (dawne Canix 3).
Mamy kilka szaf, 2 routery i 60Gbps do Nowego Jorku/Toronto/
Londynu. Montreal/Londyn nie przechodzi przez USA tylko
przez Kanadę.

W sieci tej możemy przeprowadzić fazę ALFA i BETA.
Będzie nam również służyć do zapewnienia doskonałego
połączenia do Montrealu.

Jednocześnie pracujemy nad wdrożeniem sieci
wysokiej dostępności i wydajności między:
- BHS i Nowym Jorkiem (bez przechodzenia przez
Montreal)
- BHS i Chicago (bez przechodzenia przez
Montreal).
Chcemy zmniejszyć czas odpowiedzi i zarządzać
dużymi rozmiarami przepustowości między naszym DC w BHS
i dwoma głównymi POP w USA: New York,NY i Chicago,IL.

Jedną z naszych głównych wartości jest sieć i jakość
przepustowości. Udaje nam się zapewnić usługi, ponieważ
kupujemy w Europie czarny światłowód, wybieramy sprzęt
do podłączenia światłowodu i samodzielnie zarządzamy
siecią.

Musimy samodzielnie zarządzać światłowodami, jeśli
chcemy stworzyć w USA ten sam model biznesowy, który
jest podstawą naszego sukcesu w Europie.

Nie jest to proste. Dlaczego? Ponieważ miejscowi
operatorzy nie chcą nam sprzedawać światłowodów i nie
chcą, abyśmy sami nimi zarządzali. Chcą za nas
zarządzać światłowodami. Pojawia się więc problem
z modelem ekonomicznym (i z ceną). To podejście nie
pozwala również na korzystanie z najnowszych technologii
(jak na przykład spójne 100G).

Miejscowi operatorzy nie sprzedają ani nie kupują
światłowodów, lecz je wymieniają (swap) korzystając
ze współczynnika "1 metr za 1 metr". Trzeba więc
zainwestować we własną sieć, aby następnie zaproponować
wymianę w miejscach, które nas interesują za miejsca, które
mogą interesować innych operatorów.

W najbliższych dniach podpiszemy umowę dotyczącą
pary światłowodów między Montrealem i Nowym Jorkiem
(przez Albany). Dzięki temu będziemy mogli włączyć
naszą własną sieć z łączem 100G i podłączyć nasze DC w
Nowym Yorku z początkową wydajnością 1Tbps.
Ta sieć powinna działać na przełomie sierpnia i września.

Prowadzimy również rozmowy z jednym operatorem na temat
drugiego (redundantnego) łącza między Montrealem i Nowym
Jorkiem. Rozmowy powinny się zakończyć za około 2-3 tygodnie.
Sieć może zostać uruchomiona we wrześniu. Chcemy mieć dwie
drogi i redundantną sieć.

Jak zapewnić redundancję?

Aby zapewnić redundancję, obwody 10G powinny zostać umieszczone
na różnych drogach. Następnie wszystko trzeba podłączyć do
routerów. Korzystając z protokołu routingu OSPF/BGP router
będzie używał drogi, która działa. Jeśli nie będzie ona
dostępna, router wybierze drogę, z której należy skorzystać.

Problemem tego rozwiązania jest to, że działa ono
prawidłowo w małych sieciach 50-100G, ale nie w naszym
przypadku. Chcemy mieć 1Tbps na początku, docelowo 8Tbps.
Podłączenie 1Tbps rzeczywistej przepustowości to
podłączenie 2Tbps łącza. Oznacza to 200x 10G zamiast 100x 10G.
Jest to bardzo drogie rozwiązanie, ponieważ obwód 10G i każdy
port 10G na routerze są drogie. Ale przede wszystkim dlatego,
że router ma ograniczenie liczby portów na obudowę. Potrzeba więc
kilka obudów routerów i kompleksowy szkielet.

A my chcemy prosty i niedrogi szkielet sieci.

Rozwiązanie, które chcemy wdrożyć, polega na wykorzystaniu
dwóch dróg optycznych i technologii failover na poziomie
światłowodu a nie na poziomie IP na routerach. Na poziomie 1,
nie na poziomie 3. Oznacza to, że 100x 10G podłączone do routerów
są cały czas dostępne a system optyczny korzysta z jednego lub
z drugiego łącza. Są to tzw. obwody chronione.

To dlatego właśnie konieczne jest posiadanie własnych
światłowodów. Sprzęt musi pochodzić od tego samego
producenta i musi się ze sobą komunikować. Chodzi o
przełączenie łącza na < 200ms w przypadku awarii.

W przypadku połączenia Montreal / New York prowadzimy
rozmowy z innym operatorem na temat 3 drogi. Operator
ten ma światłowód między granicą kanadyjską i Albany,NY.
Inny operator ma światłowód między Albany,NY i New York,NY.
Mamy więc wybór. Musimy mieć 2 łącza, aby zapewnić 100% SLA.

W przypadku łącza do Toronto sytuacja jest bardziej
skomplikowana. W kanadzie jest 4-5 dużych operatorów i niewiele
nowych inwestycji. Ostatnie miały miejsce w latach 1999-2001.
Od tego czasu operatorzy wykorzystują istniejące światłowody i
zachodują je dla siebie.

Udało nam sie jednak rozpocząć rozmowy. Najpierw nad światłowodem
między Montrealem i Toronto przez Ottawę. Nas jednak najbardziej
interesuje Chicago,IL.

Między Toronto i Chicago,IL są dwie drogi:
- przez Buffalo,NJ
- przez Detroit,MI
Tutaj wszystko się komplikuje. Na drodze między Toronto i Detroit,MI
jak również Detroit,MI i Chicago,IL mamy 3 operatorów posiadających
światłowody. Podobnie między Buffalo,NJ i Chicago,IL i Toronto i
Buffalo,NJ. Dlaczego?

Ponieważ są to drogi między 3 giełdami: Nowym Jorkiem,
Toronto, Chicago. Drogi te są krótkie i bezpośrednie, więc
korzysta się z "low latency" do HFT (High-Frequency Trading).
Korzystają z nich serwery poprzez które składane są zamówienia
na giełdach. Chodzi o to, żeby obliczyć zamówienia i przekazać
informacje przed innymi. Są firmy gotowe do zapłacenia tysięcy dolarów,
żeby uzyskać kilka ns (tak ns, nie ms) i złożyć zamówienia na giełdzie
przed konkurencją. Ceny światłowodów są bardzo wysokie. Operatorzy nie
chcą więc nowych konkurencyjnych firm. Problemy są więc głownie na
drodze między Toronto i USA.

Dlatego rozmawiamy z kilkoma operatorami o wspólnej budowie
nowej sieci między Montrealem i Toronto poprzez A20. Nawet
jeśli projekt ten może zabrać 2 lata, jest to bardzo interesujące,
ponieważ sieć ta byłaby krótsza i szybsza. I redundantna.

Co będzie po Nowym Jorku i Chicago?

Gdy będziemy już obecni w Nowym Jorku i Chicago,
łatwiej będzie negocjować ceny światłowodów.
Mamy więc światłowód między New York,NY
i Ashburn,VA i Chicago,IL. Będziemy mieć również
światłowód między Ashburn,VA - Atlanta,GA -
Miami,FL. Dlaczego Miami? Miami to ważny punkt,
ponieważ wszyscy operatorzy z Ameryki Południowej
przechodzą przez Miami (Brazylia, Argentyna).

Po co nam światłowód w Miami? Posiadając spójne
łącze 100G można przesłać sygnał na 3500km.
Aktualna technologia na 10G (korzystamy z niej w
Europie) pozwala na uzyskanie maksymalnie 700km.
Chcemy wygenerować sygnał w Montrealu i przesłać
go aż do Miami, bez ponownego generowania. I bez
niepotrzebnych kosztów. To prawdziwa innowacja
zwłaszcza w USA, gdzie odległości są bardzo duże.
Wygenerowanie sygnału korzystając z 10G co 700km,
albo wygenerowanie sygnału korzystając ze 100G co
3500km - 10x więcej przepustowości, 5x taniej.
Wpływ na cenę przepustowości między Montrealem i
Los Angeles: 50 razy taniej. Można też mieć 50 razy
więcej przepustowości za tą samą cenę.

Jak wygląda w tym nasza sieć?

Na zachodnim wybrzeżu punkty, które chcemy utworzyć to
Los Angeles,CA i Palo Alto,CA. Do tych 2 punktów podłączeni są
wszyscy operatorzy z Azji (Japonia, Chiny, Singapur)
i z Australii. Będziemy mogli podłączyć światłowód do tych
punktów po podłączeniu punktu w Chicago,IL bezpośrednio do BHS.

Jeśli się nie uda, mamy inne propozycje 10G na różnych
drogach. Propozycje standardowych łączy 10G, propozycje
sieci zarządzanych. Są to drogie rozwiązania, ale istnieją.

Sieć, którą chcemy mieć w USA, wygląda tak:
http://yfrog.com/z/h0l8uahj

Tylko to.

Patrząc na stan rozmów wiemy, że będziemy mogli
zagwarantować naszym klientom dużą przepustowość,
redundantną infrastrukturę, SLA 100% i niezawodny czas
odpowiedzi.

Pozdrawiam
Octave