Buffer ou não ?

Use um memoryStream, a vantagem é que é bem mais rápido, mas ocupa muita memória, lembre-se sempre de limpar depois do uso.

O buffer não vale muito a pena pois é algo mais complexo dependendo do que você estiver fazendo.

Entendo, existe a classe BufferedStream, também posso fazer na mão, o que estou fazendo é lendo linha a linha e inserindo no banco.

Buffer não se torna necessário ?

Nem sempre, você pode ler tudo para a memória primeiro e depois adicionar tudo de uma vez, depois limpa a memória.

Entendi, usando o BufferedStream o conteúdo iria em partes para a memória então, certo ?

Sim, leia mais aqui:

http://msdn.microsoft.com/pt-br/library/system.io.bufferedstream.aspx