Estamos tentando descobrir a melhor prática para trabalhar com grandes bancos de dados em Java.
O que fazemos é um tipo de BI (business intelligence), ou seja, analisar bancos de dados muito grandes e usá-los para criar bancos de dados intermediários que representam conhecimento inteligente dos bancos de dados.
No momento, estamos usando o JDBC e apenas pré-formando consultas usando um ResultSet.
Conforme mais e mais dados estão sendo criados, estamos nos perguntando se existem maneiras mais apropriadas de analisar e manipular esses grandes bancos de dados:
Não faça isso. Se você está analisando muitos dados, faça isso no banco de dados.
Procedimentos armazenados, tabelas temporárias, etc.
São dados, e é nisso que um banco de dados é bom. Use java para enviar as solicitações e ler os resultados. Deixe o SGBD gerenciar os dados, já que é um Sistema de Gerenciamento de Banco de Dados.
Ok. Eu vou elaborar.
Deixe-me adivinhar que você extrai dados do banco de dados, cole-os em objetos java, edite os objetos java e salve de volta no banco de dados? Isto é certo até certo ponto ... mas para grandes quantidades de dados não é. Vamos dizer que você deseja desativar todos os usuários que vivem no estado de Maryland. Você pode extrair TODAS as informações que não são usadas no objeto java (nome, data de nascimento, etc.) e atualizar TODOS os campos desse usuário, mesmo que ele não tenha sido editado. Isso é aceitável para edições de registro único, não para processamento em lote de milhões de linhas. Em vez disso, considere [atualizar status do conjunto de funcionários = 'desativado', onde estado = 'maryland'].
crie uma tabela de amostra, preencha-a com 10 milhões de linhas de dados falsos. Compare o desempenho de carregamento de material em objetos java versus atualizações SQL simples baseadas em conjuntos.
Sim, se a sua base de dados for grande, você poderá usar o particionamento para armazenar esses dados. E, como dito acima, não ative uma única consulta para buscar dados em pequenas operações de comparação ou análise.
Divida sua lógica de modo que os critérios de filtragem fáceis sejam manipulados por procedimentos armazenados e consulte-se, e somente algoritmo complexo que não seja suportado por consulta sql ou procedimento suportado deve ser feito com java após a obtenção de registros.
Ferramentas corporativas como o IBM InfoSphere fazem exatamente o que você fez com a conexão JDBC. Eu toquei em seu estúdio IBM DataStage por um tempo, eu vi isso.
Meu conselho para você é projetar o esquema dos grandes dados de origem para que, quando você fizer a transformação de dados intermediários, anote o progresso (usando alguma coluna), para que a grande tarefa possa ser dividida em tarefas menores valores da coluna de progresso. Digamos que a busca busque 20000 linhas, marcando o offset para as buscas 2, etc ...
Eu faria o máximo possível em java por causa da infinidade de maneiras em que você pode registrar, depurar quando algo dá errado. Se você confiar demais no banco de dados, não acho que a depuração e a leitura de registros sejam tão confortáveis.