Na het inrichten van een geheel nieuw file server cluster gebaseerd op Windows Server 2012 R2 ontstonden er problemen met de beschikbaarheid van de op dat moment actieve cluster node. De node werd steeds slechter te bereiken via SMB of RDP en veel meldingen verschenen in System Center Operations Manager over deze server. De problemen bleken te komen door port exhaustion.
Workaround
De enige manier om de verbindingsproblemen door de port exhaustionop te lossen leek door de file server role te verplaatsen naar de andere node in het file server cluster en de probleemserver te herstarten. Na een willekeurig moment, meestal rond de twee weken, ontstond het probleem weer. De volgende meldingen kwamen naar voren, waarna de server eigenlijk al slecht te bereiken was:
Log Name: System
Source: Tcpip
Event ID: 4227
Level: Warning
Description: TCP/IP failed to establish an outgoing connection because the selected local endpoint was recently used to connect to the same remote endpoint. This error typically occurs when outgoing connections are opened and closed at a high rate, causing all available local ports to be used and forcing TCP/IP to reuse a local port for an outgoing connection. To minimize the risk of data corruption, the TCP/IP standard requires a minimum time period to elapse between successive connections from a given local endpoint to a given remote endpoint.
Log Name: System
Source: Microsoft-Windows-DistributedCOM
Event ID: 10028
Level: Error
Description: DCOM was unable to communicate with the computer
Om te achterhalen welke applicatie ervoor zorgde dat er geen poorten meer beschikbaar waren, zijn we het poortgebruik in de gaten gaan houden met de tool Netstat. Deze hebben we aan de hand van een 5 minuten interval laten draaien, waarbij een logbestand bijgehouden werd. Dit gaf uiteindelijk geen resultaat, omdat het aantal gebruikte poorten niet steeg volgens Netstat.
Hotfix blijkt oplossing voor port exhaustion
Na lange tijd zoeken en het uitsluiten van verschillende zaken, zijn we uiteindelijk op een hotfix gestuit die het probleem heeft verholpen voor ons, namelijk KB3078411 (URL: https://support.microsoft.com/en-us/kb/3078411) De beschrijving van deze hotfix kwam niet geheel overeen met de port exhaustion problemen die wij ervoeren, maar er zaten voor ons genoeg raakvlakken in waardoor we deze hotfix uitgeprobeerd hebben. Het probleem is sindsdien niet meer teruggekeerd.