OBS: Este texto está sobre condiçao de revisao, e será reenviado pelo aluno assim que o seu orientador indicar alguma necessidade de revisao do mesmo.

1. Data Selection: Neste passo identificamos o conjunto de dados e atributos a serem utilizados.
2. Data Cleaning: Removemos dados que possam interferir no processo, transformamos os dados para unidades comuns, geramos novos campos através da combinação de campos já existentes e trazemos tudo isso para o esquema relacional que será utilizado para o processo de Data Mining
3. Denormalization (optional): Esta é uma parte opcional do processo mas que é normalmente realizada onde muitas tabelas sofrem uma denormalização para facilitar o processo de mining
4. Data Mining: Este é o passo onde entram as tecnicas de Data Mining existentes que serão aplicadas em cima dos valores gerados nos campos anteriores.
5. Evaluation: Neste passo, formatamos os padrões encontrados no passo de Data Mining e os apresentamos, de uma forma inteligível, ao usuário final.

2.2 - Contando ítens freqüentes:


    Temos que considerar agora o problema de contar os ítens mais freqüentes no mundo do Data Mining. Um ponto a se observar é o fato de que estamos lidando com uma gigantesca quantidade de dados o que nos leva ao fato de necessitarmos de algoritmos escaláveis como já citado anteriormente.
    Vamos definir o conceito de Market Basket que nada mais é do que uma coleção de ítens adquiridos de uma única vez através de uma transação (sendo que uma transação aqui não é no mesmo sentido que uma transação de bancos de dados e sim mais no sentido de transação financeira, seja ela real, ou virtual).
    Contar os ítens mais freqüentes é uma tarefa desejada pois desse modo podemos descobrir quais ítens são os mais vendidos e deseja-se saber também quais ítens são frequentemente adquiridos em conjunto.
    Chamaremos de Conjunto de Ítens o termo em inglês itemset cujo significado se torna imediato e manteremos em inglês o termo support que é fração de transações que contém todos os ítens daquele conjunto de ítens. Também estamos interessados em Conjuntos de Ítens que contenham apenas um ítem. Dizemos tambem que um conjunto de ítens é freqüente quando o support do mesmo é maior que um número denominado minsup que é atribuído pelo usuário.
    O algoritmo para realizar a geração de conjuntos frequentes de ítens é baseado na propriedade "a priori" que diz que cada sub-conjunto de um conjunto freqüente de ítens deve também ser um conjunto freqüente de ítens.

Algoritmo:

foreach item,
    check if it is a frequent itemset
    
k = 1
repeat
   foreach new frequent itemset Ik with kitens
      generate all itemsets Ik+1 with k+1 item, Ik C Ik+1
   Scan all transactions once and check if the generated k+1-itemsets are frequent
   k = k + 1
until no new frequent itemsets are identified

• Support: O support de um conjunto de ítens é a porcentagem de transações que contém todos esses ítens como já dito anteriormente. O support para a regra LHS => RHS é o support para o conjunto LHS U RHS.



• Confidence: Considere apenas as transações que contém todos os ítens em LHS. O confidence para a regra LHS => RHS é a porcentagem das transações que também contém todos os ítens de RHS. Mais precisamente, o confidence da regra LHS => RHS é _sup(LHS U RHS) / _sup(LHS).

• Usuário inclui tabelas no PostgreSQL
  
• Usuário define quais tabelas serão usadas para a sua análise
  
• A aplicação cliente pede ao PostgreSQL as infiormações dessas tabelas, ja tratando via queries os dados importantes
• A aplicação cliente executa a análise usando algum dos algoritmos escolhidos pelo usuário
• A aplicação cliente transforma a analise conseguida para ser visivel ao usuário e retorna a esse usuário
  

• Apesar do PostgreSQL ser uma ferramenta livre, é difícil achar documentação sobre a parte interna do sistema sem que você tenha que olhar o código interno dele, o que é uma tarefa muito árdua devido ao seu tamanho. Isso me gerou o problema de demorar muito para entender o funcionamento interno do PostgreSQL
  
• Não dá para confiar em toda a documentação existente sobre Data Mining, pois muita coisa não explica nada sobre o processo e os algoritmos e isso me gerou uma dificuldade enorme pois varias vezes tive que voltar a procurar documentação boa pois a que eu tinha não supria minhas necessidades
•  Tive muitos projetos e provas relacionados a outras matérias no meu curso, e isso acabou atrasando bastante o desenvolvimento do sistema pois tinha que dividir demais o meu tempo e muitas vezes acabava escolhendo outros projetos para me dedicar mais pois eles tinham um prazo menor
• No meio do segundo semestre tive um desanimo muito grande com relação ao curso e ao projeto, pois tinha achado novos rumos para colocar no projeto mas eu não podia pois ele já tinha sido definido, e isso me tirou a vontade de terminar o projeto
  

• 28/12/2003 - Termino da implementação do sistema
• 31/12/2003 - Versão final com  correções de bugs
  

• MAC211 e MAC242 (Laboratório de Programação 1 e 2) - Aprendi a desenvolver projetos longos e consegui minha primeira experiência real com programação;
• MAC323 (Estrutura de Dados) - Tive que entender bem o conceito de estruturas de dados para poder escolher qual usar no sistema
• MAC338 (Análise de Algoritmos) - Auxiliou para entender os algoritmos que executam a análise em Data Mining
  
• MAC332 (Engenharia de Software) - Tive que usar os conhecimentos de engenharia de software para projetar sistemas antes de implementar
• MAC426 (Sistemas de Banco de Dados) e MAC439 (Laboratório de Banco de Dados) - Essas foram as disciplinas mais ligadas diretamente, pois foi nelas que aprendi a mexer com banco de dados e adquiri meus primeiros conhecimentos sobre SQL e Data Mining

• à paciência do Professor João Eduardo Ferreira, pois ele me aturou esse ano inteiro e algumas vezes me remotivou a terminar o projeto
• ao professor Carlos Eduardo Ferreira por ter me ajudado muito no meu curso
• aos professores Paulo Feofiloff e Alan Durham, que me ensinaram a ter uma disciplina maior em meu curso
• aos meus colegas Alfredo, Carlos, André, Luiz, César e Jean pela convivência ao longo do curso e pelo incentivo nas horas mais difíceis
• a minha companheira e amiga Viviane, pois dedicou uma boa parte do seu tempo para me ajudar e incentivar, coolaborando demais com as minhas dificuldades