Gerencia milhares de conexoes simultaneas

Ola pessoal,Preciso desenvolver um server para receber conexoes tcp, usando o TServerSocket, pq ele é mais simples e atende tudo o que eu preciso, ate ai tudo bem. Sei como controlar as conexoes simultaneas usando o ActiveConnections. Minha questão é mais sobre tecnica: como poderia alocar memoria suficiente para tantas conexoes possiveis? usar threads? qual seria um limite teorico ideal por porta de servico?Atualmente uso um registro de alocao fixo, para os pacotes de dados, mas nao sei ate qto eu poderia subir sem impactar dramaticamente a memoria. A questao é que os cliente ficam permanentemente conectados, ainda que nem sempre estejam trafegando dados.