Com a massificação da informática em empresas, lares e escolas, proliferaram os software educacionais voltados para a educação. Estes produtos, dos mais diversos tipos e aplicações, têm sido objeto de inúmeras pesquisas na atualidade, objetivando a melhoria e eficácia dos programas já existentes, bem como a produção de novos programas. Esta evolução vem acompanhada do desenvolvimento das novas tecnologias de informação e comunicação, evoluindo conjuntamente com as pesquisas em psicologia da aprendizagem, conforme abordado no capítulo 2.

A primeira questão que se coloca é sobre a definição do que seja software educacional.

Segundo Oliveira et all (1987), o que caracteriza um software educacional depende do cunho científico em seu aspecto pedagógico (biopsicosocial), político e/ou ideológico contido no projeto e na forma de utilização. Entretanto, Melgarejo apud Ramos (1995), afirma que um software não tem condições de impor um modelo pedagógico, mas favorece certas práticas em detrimento de outras, estimulando determinadas maneiras de pensar e agir.

Pode-se então afirmar, a partir destas posições, que software educacionais são programas de computador que possuem uma proposta de ensino, com um objetivo educacional pré definido e que se proponha a auxiliar na aprendizagem de conteúdos e habilidades, mediante a utilização de uma interface computadorizada .

Conhecer ou determinar a qualidade e a eficácia de um software educacional, não constitui-se em tarefa facilmente mensurável por dados quantitativos, devido aos diversos domínios do comportamento humano, envolvidos na interação. Como então estabelecer e/ou avaliar qualidade em software educacional ?

A qualidade ergonômica e pedagógica de um software educacional vai além das metodologias de concepção e avaliação de IHC descritas no capítulo 4, pois implica em estabelecer e avaliar, a priori e a posteriori, a conformidade de critérios de utilizabilidade, mas, principalmente, os critérios de natureza didática e psicopedagógica contidos nestes sistemas.

Avaliar a qualidade de um software educacional é uma tarefa complexa que envolve inúmeros e diversificados atributos. Deve ser efetuada tanto na fase de concepção (projeto e produção), quanto na fase de utilização (uso educacional), requerendo a competência de um trabalho em equipe.

Os procedimentos de avaliação da qualidade de PEI podem ser efetuados de diversas formas, como por exemplo através de listas de verificação, ensaios de interação, avaliações heurísticas ou outros que serão abordados neste capítulo.

Ao projeto da interface, soma-se, portanto, o projeto educacional e, nesse sentido, os objetivos da ergonomia de software se ampliam para desenvolvedores e educadores. Torna-se portanto, função destes, prover meios para concepção e avaliação de interfaces de aplicações educacionais, de modo que sejam adequadas ao usuário final – o aluno, -agregando valor a seu aprendizado e facilitando assim o processo ensino-aprendizagem.

Este capítulo apresenta dois modelo de concepção de software educacional. Destaca-se também da literatura selecionada, algumas ferramentas e abordagens para a avaliação da qualidade desses produtos, e propõe a construção de um modelo que integre os aspectos ergonômicos e pedagógicos.

5.2. ABORDAGENS PEDAGÓGICAS PARA CONCEPÇÃO E AVALIAÇÃO DE SOFTWARE EDUCACIONAIS

Projetar e avaliar a qualidade de um software ou sistema educacional passa, necessariamente, pela sua qualidade ergonômica, mas fundamentalmente, pela sua qualidade didática e pedagógica. Nesse sentido, os objetivos de ergonomistas e educadores se assemelham na medida em que os primeiros buscam adaptar o trabalho ao ser humano e os últimos buscam adaptar os meios didáticos para obter satisfação e produtividade dos alunos na aprendizagem de um conteúdo ou habilidade.

Diante de inúmeros materiais educativos informatizados (exercício e prática, tutoriais, sistemas inteligentes de aprendizagem, ambientes ao modo híper - hipertexto, hipermídias - redes de computadores, à realidade virtual), descritos no segundo capítulo, educadores, professores, e outros profissionais se perguntam:

Esses programas realmente agregam valor ao aprendizado do aluno e se agregam, com base em que preceitos pedagógicos, ideologia e teoria psicológica estão sendo desenvolvidos? Como estão sendo utilizados e são mesmo realmente utilizáveis como ferramenta didático-pedagógica? Qual a qualidade desses produtos educacionais? Como desenvolver PEI que atendam e considerem realmente as necessidades e características biopsicosociais dos estudantes?

Sendo difícil encontrar um amplo e sistematizado quadro teórico para orientar em projeto e avaliação de software educacional, uma solução proposta para essa problemática é buscar na interdisciplinaridade da ergonomia, em especial na ergonomia de software, e no universo da pesquisa pedagógica, estratégias de concepção e avaliação de programas educacionais informatizados.

Como a bibliografia no assunto é pouco orientada para a integração dos aspectos de ergonomia (utilizabilidade) com a educação computadorizada, buscou-se as referências em engenharia de software para uso educacional. Destacam-se, entre estas referências, o modelo de concepção de software educacional de Mucchielli (1987) e o processo de avaliação de software multimídia interativo de Cronje (1998).

Dos modelos e abordagens para avaliação de software educacional destacam-se Oliveira et all (1987), Campos (1994), Niquini (1996), Reeves apud Campos (1996), Squires e Preece (1996), Gamez (1998).

5.2.1. O MODELO DE CONCEPÇÃO DE SOFTWARE EDUCACIONAL DE MUCCHIELLI

As análises levantadas por Mucchielli (1987) para propor o modelo de concepção de software educacionais são valiosas na medida em que devolve para o educador a responsabilidade com a qualidade e utilização dessa nova tecnologia educacional e, para projetistas e programadores, dão uma visão geral das implicações pedagógicas de um software educacional.

Em princípio, as análises de Mucchielli (1987) versam sobre dois eixos:

I. o poder das forças culturais, relacionadas à inserção do computador na sociedade como um objeto cultural novo e as forças políticas e econômicas impulsionadas pela informática e pela tecnologia da informação para a compreensão do que pode ser o desenvolvimento do ensino auxiliado por computador (competitividade de mercado, redução de custos em formação e vontade de modernização).

II. as potencialidades pedagógicas do computador. Sobre estas potencialidades, ele afirma que os usos pedagógicos do computador dependem das diferentes variáveis que compõem a situação pedagógica na qual é utilizado. Essas variáveis são sobretudo :

• o contexto global de utilização do computador (no lar, no posto de trabalho, na escola.);
• as finalidades de uso (sensibilização, aquisição de conhecimentos, exercitação, treinamento.);
• o sistema informático utilizado (se é de uso individual e autônomo, utilizando um servidor de rede.);
• o papel e as competências pedagógicas e informáticas do responsável pela formação;
• as práticas e os hábitos de uso do computador dos indivíduos e/ou grupos de formação;
• o programa pedagógico utilizado, suas qualidades, suas "performances", sua adaptação às finalidades da aprendizagem.
• sobre esta última variável, o autor destaca os diferentes objetivos pedagógicos do ensino por computador que podem ser combinados ou não:
• a aquisição de conhecimentos;
• a aquisição de práticas e "saber fazer";
• a revisão de conhecimentos;
• a sensibilização aos problemas;
• o desenvolvimento do raciocínio.

• a exposição;
• a interrogação;
• a descoberta guiada;
• a descoberta experimental;
• a resolução guiada de problemas;
• a simulação de caso;
• os jogos.

I) Os problemas pedagógicos, entre os quais se destacam:

• a qualidade da maioria dos software educacionais produzidos deixa muito a desejar;
• o conhecimento e a avaliação dos software educacionais são difíceis, visto que sua produção é em número crescente;
• existe carência de software educacional em certos domínios do conhecimento, como em filosofia e ciências humanas, em detrimento do número deles em matemática e informática, por exemplo;
• a realização de software com boa performance é difícil pois necessita de competências científicas, pedagógicas e informáticas;
• o treinamento para a utilização das novas tecnologias pedagógicas.

III) Os problemas de material e financeiros, dentre os quais destacam-se:

• a obsolescência rápida dos materiais;
• as limitações tecnológicas dos computadores (i.e.:de memória, recursos multimídia);
• a disponibilidade de materiais (numero de máquinas para os usuários);
• os problemas de conexão das redes e manutenção;
• os problemas financeiros, principalmente do alto valor dos software de qualidade, como os existentes para formação profissional de grandes empresas.

Consiste em saber, entre os diferentes contextos pedagógicos existentes para o uso do software, qual contexto ele será utilizado. A partir da identificação do contexto, é necessário colocar algumas questões antes da concepção do software, para o exame das diferentes condições de utilização do computador no ensino:

• Qual é o contexto pedagógico em que se situa a utilização do software ? É uma utilização isolada do computador ou ele insere-se em um contexto habitual de uso em casa ou na escola ?
• Em qual momento da formação o software é utilizado ? Qual é seu objetivo principal: exercício de aplicação, aplicação de outras informações complementares, introdução de um assunto, aprofundamento?
• Como o software pode integrar a dimensão coletiva de sua utilização ? Quais outros materiais e documentos de acompanhamentos o software faz-se intervir ? Quais são os papéis previstos do facilitador-professor ? Existem momentos previstos onde o professor deve intervir e com quais outros meios ?
• Em função destas informações obtidas a priori, para qual categoria de software orientarão a intuição global dos objetivos e das necessidades do público que irá utilizá-lo?

5.2.1.2. Fase Preparatória

Definida a partir de quatro passos principais: a intuição do software ou idéia original de início, os estudos pedagógicos preparatórios, a explicitação do esquema geral do software e o estudo de oportunidades.

I. Contexto da idéia inicial:
Tem-se uma intuição geral do que se pretende criar. Ainda que preliminarmente, existe uma idéia do que se quer abordar, do público a que é dirigido o produto e das diferentes partes do conteúdo. A maneira de fazer passar a mensagem concerne ao processo pedagógico que se vai utilizar e esta idéia inicial é guiada por uma exigência fundamental de elaboração do software: a exigência de interatividade, que irá possibilitar interações numerosas e variadas.

II. Os estudos pedagógicos preparatórios:
São resultados da experiência do professor e é essa experiência que conduz a elaboração do software. Os estudos preparatórios portam sobre o conhecimento do público, os conhecimentos de base requeridos para entrar no software e no ambiente pedagógico.

III. Explicitação do esquema geral do software:
Após os passos anteriores, é feito um primeiro esboço das grandes linhas de um projeto de software. Nessas grandes linhas são descritos o objetivo principal do software e seus objetivos específicos. São também traçadas as grandes linhas do desenvolvimento pedagógico, como também definido o público alvo, e distribuição e forma conteúdo abordado.

IV. Estudo de oportunidade:
O estudo deve ser mais aprofundado que o projeto e, é importante que se estime, a priori, seus custos em termos do tempo e dos meios que serão importantes para o projeto. Um estudo documentário permitirá responder sobre quais outros produtos existentes no mercado visam os mesmos objetivos.

Trata-se de consultar manuais, livros, documentos de diversos de cursos, documentos audiovisuais e os programas de ensino que existem sobre a questão. Outra questão que se deve elucidar nesta fase é saber, se para o publico alvo, há pertinência da nova forma de ensino com o uso do computador.

A maquete ou cenário geral prevê, em detalhes, o recorte do conteúdo e das interações entre o programa pedagógico e o aprendiz. Apresenta-se como é feito no cinema: uma sucessão de cenas, de diálogos e de encadeamentos. O cenário é destinado aos especialistas em programação que irão transpor o modelo para uma plataforma computacional.

Nesta fase, Mucchielli define sete passos para a confecção da maquete:

1. Exatidão sobre o contexto de utilização do software: as entradas, os usos possíveis do software, o contexto pedagógico de sua utilização, os pré-requisitos necessários e os papéis previstos do professor;
2. Definição dos objetivos e sub-objetivos : formalizar precisamente o objetivo global e decompô-lo em sub-objetivos igualmente precisos. Os sub-objetivos são ligados à definição de fases ou etapas no esquema geral do desenvolvimento do software;
3. Concepção do organograma geral: é o esquema geral do desenvolvimento do software com a decomposição em fases e as ligações lógicas entre diferentes fases. São previstos o encadeamento das fases desenvolvidas pelos sub-objetivos, as interações previstas com o aprendiz, a concepção das ajudas gerais e diversificadas, assim como sua inserção no encaminhamento pedagógico, à disposição dos testes de aquisição, os momentos de intervenção do professor ou facilitador;
4. Concepção detalhada do organograma de cada etapa pedagógica;
5. Concepção dos elementos de interatividade do programa: a interatividade é ligada à forma geral escolhida para suporte do conteúdo no software. A qualidade geral será fortemente dependente da variedade e do nível geral de interatividade proposta. As formas de interatividade dependem das performances da linguagem e das modalidades de questionamentos utilizados. Neste aspecto, o programa força uma pedagogia da interrogação e ressalta os métodos da pedagogia ativa e de descoberta;
6. Concepção dos textos e dos desenhos: criação de documentos podendo ser cartas, esquemas, textos de referência e outros, que ajudarão o aluno no seu diálogo com o computador; e elaboração do conteúdo do software: escrituração das páginas de informação, de ajuda, desenhos, animação, formulação de problemas, modelos de respostas possíveis (modelo aprendiz), comentários, previsão de efeitos sonoros, luminosos e outros;
7. Pré-teste da maquete e arranjos: apresentação da maquete a um grupo de profissionais e colegas (e usuários) com o objetivo de recolher suas idéias de melhoria da maquete.

Nesta fase são escolhidas a linguagem de programação ou sistema autor, a escritura do programa e a realização das páginas textuais e gráficas, esta última pode ser feita por um digitador ou grafista que será integrado à escrituração informática, observando-se os critérios de qualidade estéticos das páginas de texto e páginas gráficas.

5.2.1.5. Experimentação e melhorias

Verificam-se a adequação das teorias de referência às normas científicas e a validade dos conceitos utilizados, com a possibilidade de surgir novas idéias.

5.1.2.6. Avaliação pedagógica

O objetivo dessa fase é avaliar a eficácia global do software sobre o público para o qual ele é concebido. A utilização de técnicas de avaliação desta fase são necessárias para a coleta de dados: observação das reações do usuário - alvo, avaliação das aquisições e impressões sobre a qualidade do software, questionários, entrevistas e ainda ouvir um grupo de especialistas antes de fazer funcionar o software.

Mucchielli (1987) propõe dez passos a serem examinados na avaliação pedagógica do software educacional:

1. Avaliação das aquisições permitidas, concernentes aos elementos de conhecimento retido ou a medida das performances evolutivas, resultado dos testes de avaliação;
2. Qualidade do modelo pedagógico adotado, buscando evidências sobre:
• clareza dos objetivos pedagógicos;
• interesse do objetivo pedagógico do sofware;
• pertinência dos recortes em sub-objetivos utilizados;
• coerência de organização pedagógica;
• eficácia provável do modelo pedagógico em relação aos objetivos;
• originalidade do modelo pedagógico adotado;
• qualidade dos testes de controle incorporados no software;
• qualidade das explicações e comentários acompanhando as respostas do estudante às diversas solicitações interativas do software.

3. Qualidade da idéia geral do software em que será apreciada a existência da idéia diretriz, sua originalidade e matriz de adaptação no domínio e ainda realizar testes com o público-alvo verificando o interesse global manifestado pelo princípio geral do software.
4. Qualidade e variedades dos procedimentos de interatividade utilizadas: avalia-se o questionário, as páginas, os procedimentos de designação, a adaptação destes procedimentos ao conteúdo e às fases pedagógicas; a flexibilidade ou rigidez dos procedimentos, a pertinência das questões postas, a clareza e a não-ambiguidade destas questões.
5. Qualidade da flexibilidade do software: um software é flexível se ele adapta-se à numerosas respostas dos usuários, oferecendo caminhos e propondo as escolhas reais seguidas. Avalia-se, também, a possibilidade de corrigir a resposta dada, o número de respostas previstas às questões, a potência dos modelos de análise de respostas, o número de escolhas reais oferecidas nos menus, o número, a qualidade e a variedade dos encaminhamentos possíveis no software, assim como a facilidade de retorno a um menu precedente.
6. Natureza e qualidade das ajudas: a pressão das teclas específicas deve poder empregar uma ajuda adaptada ao local onde se acha o estudante no software e em função do problema que lhe é posto. Avalia-se, para o item ajuda: sua existência, sua adaptação em relação às dificuldades encontradas, sua hierarquização em função do tipo ou número de erros cometidos, sua originalidade e, sua variedade.
7. Grau de flexibilidade software: dois critérios devem ser observados nesta característica: a facilidade com a qual pode-se parar e retomar o ensino de onde se parou e, a possibilidade de intervir no interior do software para modificar o conteúdo de maneira a poder adaptá-lo à necessidades específicas ou à evolução dos dados.
8. Qualidade das telas: é importante o aspecto estético das telas. Avalia-se sua estética geral, a disposição dos objetos, a legibilidade, os diferentes efeitos atrativos (desenhos, movimentos e sinais intermitentes)
9. Qualidade do documento de acompanhamento: observar se eles permitem uma auto formação para que o professor possa fazer uma melhor utilização do produto, se o documento é claro e atualizado e se fornece indicações sobre o público-alvo.
10. Avaliação contínua do produto: um software é um programa dinâmico, que integra (deveria) melhorias e evoluções constantes. O usuário deve ser informado dessa capacidade.

Cronje (1998), desenvolveu um modelo de sistematização de projeto que envolve não apenas critérios na concepção, mas a avaliação em todas as etapas de desenvolvimento do projeto de software interativos multimídia.

Neste modelo, o trabalho é organizado a partir de uma matriz sumária que define os procedimentos básicos para cada fase do processo de avaliação do software interativo: o que (objetivos), quem (profissionais envolvidos), questões (principais questionamentos a serem respondidos em cada fase) e as ferramentas utilizadas (instrumentos e ações para levantamento de dados). Este modelo é representado pelo diagrama da figura 5.2 .

Determinar as necessidades educacionais do público alvo e decidir se o software é o melhor método para atendê-las. Quem participa desta fase são os treinadores, educadores, pesquisadores e administradores. As questões a serem colocadas são: Qual é o problema que se deseja resolver com o software, se ele pode resolver este problema e se permite alcançar os objetivos. As ferramentas empregadas para esta fase são os questionários, as entrevistas e as observações.

5.2.2.2. Produção do protótipo:

Decidir as aproximações pedagógicas básicas (epistemologia, filosofia, psicologia) e produz-se um modelo de funcionamento do software. Quem participa desta fase são os pedagogos, desenhistas, escritores, artistas, especialistas e programadores. As questões versam sobre as características dos estudantes, como eles são vistos, qual o melhor modo para conhecer os objetivos determinados pela análise das necessidades. As ferramentas incluem as dimensões pedagógicas do software e o software de autoria.

5.2.2.3. Avaliação formativa:

Descobrir se o software contempla os objetivos determinados na análise das necessidades e se pode ser feito de modo mais eficiente, agradável e efetivo. Quem se envolve nesta fase são os estudantes (usuários), treinadores, pesquisadores e especialistas. As principais questões giram em torno de se conhecer os objetivos em termos de adequação da instrução, do currículo, da estética e da técnica. As ferramentas aplicadas são a revisão pelo especialista, observação, testes de usabilidade, testes alfa e beta, testes de campo, listas de verificação (checklist), questionários e grupos de enfoque.

5.2.2.4. Revisão:

Revisar o software para fazer as mudanças e resolver os problemas detectados pela avaliação formativa. Os profissionais envolvidos nesta fase são os desenhistas, escritores, artistas e programadores. A questão é saber como o software pode ser melhorado para atingir os objetivos originais. A ferramenta utilizada é o software de autoria.

5.2.2.5. Pré-teste:

Aplicar com a participação de estudantes e de forma controlada por grupos de avaliação. São feitos testes de competência na área em que o software foi projetado para verificar se os objetivos foram alcançados. Quem participa desta fase são os pesquisadores e os estudantes. A questão chave é saber sobre os conhecimentos de base de todos os estudantes envolvidos, na área de habilidade do software. As ferramentas empregadas são os testes materiais e os exercícios chaves.

5.2.2.6. Implementação:

Aplicar a versão do programa usando multimídia interativa enfocando o processo de trabalho (a tarefa). Facilitadores e pesquisadores participam deste processo. As questões principais versam sobre como esta multimídia interativa pode ser utilizada de forma a atender os objetivos propostos pelos designers.

5.2.2.7. Pós-teste:

Aprimorar e aplicar o software com os grupos de controle e grupos experimentais e ainda determinar se há, estatisticamente, diferenças significativas entre seus resultados. Quem realiza esta fase é o pesquisador e a questão principal é saber se o grupo experimental é melhor qualificado numa área específica coberta pelo software do que o grupo de controle.

5.2.2.8. Avaliação somativa:

Determinar a adequabilidade do multimídia interativo às necessidades da organização e dos estudantes. Quem participa: público alvo, treinadores, pesquisadores e experts. As questões para esta fase são: O produto é adequado aos objetivos propostos quanto aos aspectos instrucionais, de currículo, estética e técnicos? Este software realiza o que ele propõe? Ele serve para o treinamento e as necessidades educacionais da organização em termos eficazes de conhecimentos, habilidades e atitudes? As ferramentas utilizadas são a revisão de especialista, a observação, a usabilidade, as listas de verificação, questionários e grupos de enfoque.

5.2.2.9. Decisão:

Fixar a continuidade da implementação ou pela compra do software. Quem realiza é o corpo administrativo e/ou o departamento de finanças. A questão básica é saber se o programa provê educação eficiente e eficaz do estudante para a organização. A ferramenta é a avaliação somativa.

5.2.2.10. Impacto a longo prazo:

Identificar os efeitos a longo prazo do software multimídia para a organização e para os indivíduos. Quem participa são os pesquisadores, os facilitadores e os estudantes. A questão é saber se o software teve um efeito benéfico no aprendizado individual e para a organização como um todo. As ferramentas utilizadas são a observação, a organização dos dados, questionários e pós-teste.

Ressalta-se o nível de adequação, o qual fez-se referência nas fases 3 e 8 do processo acima, demonstra que as formas de adequação para a avaliação formativa e somativa são relativas aos aspectos da instrução, do currículo, da estética e da técnica. Estas formas são subdivididas em sub-aspectos, conforme o quadro 5.1

O conjunto destes sub-aspectos constituem os critérios de avaliação no qual são estabelecidas a descrição de cada um, em forma de orientações e/ou questões de verificação.

Apresenta-se, na próxima sessão, algumas abordagens e modelos para avaliação de software educacionais.

5.3. FERRAMENTAS E ABORDAGENS PARA A AVALIAÇÃO DA QUALIDADE DE SOFTWARE EDUCACIONAL

Tanto na avaliação de qualidade de um software já existente, como ao longo do seu desenvolvimento, é necessário lançar mão de ferramentas que orientem e forneçam parâmetros para o processo de avaliação.

Ainda que limitados, o checklist é uma das formas de avaliação econômica em termos de custos e tempo. No caso de avaliações de software educacional, estas ferramentas fornecem uma lista de perguntas na área educacional e perguntas referentes à usabilidade dos programas, que ajudam a focalizar os critérios a serem avaliados (Squires e Preece,1996)

Existem instrumentos oficiais e não oficiais que estabelecem normas, critérios, recomendações e requisitos para avaliação da qualidade de software, tanto no desenvolvimento do projeto quanto de produto. Dentre os oficiais, citam-se as Normas: ISO 9126 (qualidade de produto de software), ISO 12119 (qualidade de pacotes de software - software de prateleira, vendido como um produto embalado) e ISO 14598, (guia para avaliação de produtos de software).

Esta última é baseada na utilização prática da norma ISO 9126 anteriormente citada e ISO 12207 (norma para a qualidade do processo de desenvolvimento de software) entre outras. Estas normas examinam qualidades gerais e específicas dos produtos (Gamez, 1998).

Entretanto, para a avaliação da qualidade de software educacional, a questão é mais complexa, porque ultrapassa os padrões e técnicas, acrescentando e englobando elementos de natureza pedagógica de múltiplas dimensões, ao lado de questões ideológicas e psicológicas.

Exatamente por considerar esta complexidade, multidimensionalidade e diversidade dos produtos aplicados à educação, que se está buscando extrapolar os procedimentos da engenharia de software e normas regulamentadoras, alcançando toda a dimensão pedagógica e ergonômica que estes materiais devem conter.

5.3.1. A CONTRIBUIÇÃO DE OLIVEIRA ET ALL

Ao discorrer sobre a experiência do Projeto EDUCOM/MG (uma iniciativa do governo brasileiro de promover pesquisa em informática educativa), Oliveira et all (1987 p.51), partem do princípio de que "avaliar é um processo de classificar situações específicas em função de parâmetros pré-estabelecidos", colocando neste trabalho questões básicas sobre a avaliação de software educacional. A questão principal é sobre o que caracteriza um software educacional.

A concepção das autoras é de que "todo software educacional reflete necessariamente, uma concepção de ensino e aprendizagem, resultante de uma visão filosófica da relação sujeito-objeto "(Oliveira et all,1987 p.52).

A partir desta concepção, de cunho psico-pedagógico, as questões colocadas para avaliação de software educacional são:

• Qual o papel atribuído ao aluno, no decorrer de sua aprendizagem a partir do software?
• Como é previsto o tratamento do erro do aluno no programa?
• O programa apresenta níveis crescentes de assimilação e acomodação de novos conhecimentos?
• De que forma o software inclui uma possibilidade de enriquecimento do conteúdo e processos didáticos apresentados, a partir de registros e avaliação do desempenho do usuário?
• Que razões pedagógicas justificam a seleção do conteúdo e processos que o aluno vivenciará para a produção do software?
• Em que medida o uso do computador favorece a transmissão e socialização do saber?

Nos itens relativos ao conteúdo e processo de uso, são destacados:

• pertinência do tema para uso em software;
• pertinência do tema para o objetivo educacional proposto;
• relevância para a clientela a ser envolvida;
• fundamentos psico-pedagógicos do conteúdo e de como será trabalhado;
• coerência do software com as propostas pedagógicas do professor e/ou instituição escolar;
• existência do manual do usuário com as informações necessárias;

• a formatação da tela;
• a paginação;
• a facilidade de uso;
• a interação.

5.3.2. O MODELO DE AVALIAÇÃO DE CAMPOS

É importante destacar a contribuição de Campos (1994) and Campos (1996) que propõe, na forma de um manual para avaliação da qualidade de software educacional, um instrumento para auxiliar tanto durante o processo de desenvolvimento de programa como na sua seleção.

Neste manual, são apresentados os objetivos, fatores, subfatores, critérios e processos de avaliação para que seja realizada a avaliação da qualidade. A figura 5.3 sintetiza o modelo proposto.

No referido modelo, os objetivos determinam as propriedades gerais que o produto deve possuir e os fatores determinam a qualidade do ponto de vista dos diferentes usuários do produto. Os fatores são decompostos em subfatores que são avaliados através de critérios pré-determinados. (Campos, 1994).

A contribuição de Niquini (1996) para a avaliação de software educacional dá-se a partir da constatação de que hoje, há uma grande disponibilidade de produtos no mercado e, por isso mesmo, há uma grande necessidade de selecioná-los de acordo com os objetivos que se tem em mente, ao colocar o computador na escola como instrumento de ensino. Diante disso, a autora apresenta as formas e critérios para avaliação de software educacional, considerando duas formas distintas para avaliação de um software: a formativa e a somativa.

A avaliação somativa "prevê globalmente o enfoque educativo produzido pela utilização do software, incluindo os objetivos alcançados e os obstáculos ou dificuldades" (Niquini, 1996 p.100).

A avaliação formativa, "prevê a individualização dos procedimentos para as soluções adotadas pelos alunos, os obstáculos específicos que se opõem à compreensão". (op cit. p.101).

Em ambas as formas, são aplicadas técnicas de levantamentos e tratamentos de dados como questionários, observações e aplicação de testes.

Segundo Niquini (1996), os software devem ser avaliados para garantir que os programas e objetivos educacionais sejam atingidos.

Os critérios para a avaliação de software educacional estão direcionados para as características técnicas e pedagógicas do programa.

Na avaliação das características técnicas deve-se levar em consideração a máquina, o programa, os acessórios e a rede de software. Para cada ítem, são estabelecidos alguns aspectos a serem observados sobre:

5.3.3.1. A máquina

5.3.3.2. O programa

5.3.3.3. Os acessórios

5.3.3.4. A rede de software

Quanto as características pedagógicas, a autora destaca que a qualidade é o que determina o seu valor, em se tratando do processo ensino-aprendizagem, Niquini (1996), ressalta, ainda, que a seleção e a avaliação de software é uma tarefa educativa e ao mesmo tempo técnica, que avaliar o material instrutivo requer a compreensão do contexto de ensino e da aprendizagem.

Os critérios pedagógicos que devem ser avaliados num software são os objetivos, os conteúdos, a didática, a capacidade interativa e a apresentação dos conteúdos. Segue breve referência de cada um destes critérios quanto:

a) Aos objetivos

• estarem bem definidos, claramente expostos na documentação para o docente e mostrados no programa para os alunos;
• serem bem precisos, referindo-se a alguns aspectos como atenção e habilidades práticas, conceitos propostos a nível de formulação.

• estarem corretos e completos, o mais científico possível, dependendo do nível de ensino dos alunos, tanto do ponto de vista dos conceitos como lingüístico;
• serem organizados de forma lógica e o tratamento ao argumento deve ser feito de modo a conquistar o interesse do aluno. Considerando também uma boa gráfica;
• devem adaptar-se à idade e à preparação do aluno que o utiliza, por isso a necessidade de percursos individualizados, exercícios com diferentes níveis de dificuldades e um desenvolvimento ramificado.

• o software deve ser de fácil uso e não ser ele mesmo objeto de estudo para o aluno e para o professor;
• ter presente a modalidade de sua utilização: auto controle, aquisição de informações, possibilidade de ilustrações e outras;
• apresentar os tipos de intervenções: atividades, desenvolvimento, número de etapas percorridas, coordenação ou progressividade entre as etapas, tipos de corretivos, tipo de discussão e interação, possibilidade de retorno indireto.

• na apresentação das informações devem ser dadas boas informações com instruções sobre como fazer funcionar o programa como tal;
• devem aparecer na tela as explicações necessárias, inclusive com a possibilidade de saltá-las à escolha do usuário;
• o software deve ser simples e facilitador, dando um enfoque de massa ao computador;
• o software deve evitar sensação de medo ou preocupação.

• um programa didático deve oferecer vantagens em relação ao livro:
• deve ser dinâmico, dependendo do nível de interatividade e de individualização possíveis;
• deve possuir capacidade de manipular grande quantidade de dados-presença de um eventual arquivo de dados, possivelmente modificáveis;
• deve possuir velocidade de execução.

• Quando o software é o melhor instrumento para ensinar?
• Que critérios especiais são necessários para diferentes tipos de programas?

5.3.4. METODOLOGIA PARA AVALIAÇÃO DE SOFTWARE EDUCACIONAL DE REEVES

O modelo de avaliação da qualidade de software educacional desenvolvido por Thomas Reeves apud Campos(1996), lista, para análise, quatorze critérios pedagógicos e dez critérios sobre a interface, conforme quadros 5.2 e 5.3.

Na metodologia apresentada, os critérios são avaliados através de procedimento gráfico onde faz-se uma marca sobre uma escala não dimensionada representada por uma seta dupla. Em cada extremidade da seta, são colocados os conceitos antagônicos que caracterizam o critério em avaliação. Nas extremidades ficam situados, à direita, o conceito mais positivo e, à esquerda, o conceito mais negativo.

A conclusão da avaliação é obtida graficamente analisando a disposição dos pontos marcados nas setas, que devem ser ligados colocando-se as setas umas sobre as outras, como demonstra a figura 5.4 para os critérios valorização do erro e motivação.

No modelo Jigsaw, apresentado por Squires & Preece (1996), considera-se a cognição como distribuída entre os usuários, o meio ambiente e os artefatos de aprendizagem, incluindo o computador. A distribuição da cognição irá permitir ao aprendiz de construir seus próprios conceitos do jeito que costuma aprender (esquemas mentais).

Desta concepção, tira-se duas conseqüências para a avaliação a priori, conforme os autores:

I. Aprendizagem auxiliada pelo software, que é interpretada do ponto de vista da teoria construtivista e pesquisas sobre como o indivíduo constrói conceitos nos domínios de temas relevantes.
II. Dependência do contexto no uso do software. Quando o programa é utilizado para ajudar em uma tarefa de aprendizagem, o aluno precisa aprender a operar o software efetivamente.

Há ainda uma terceira atividade referente a necessidade do aluno compreender de forma integrada a aprendizagem e o controle operacional.

Estas atividades são, segundo Birbaun apud Squires e Preece(1996), associadas ao uso da tecnologia da informação e comunicação em contexto educacional.

A capacidade de realizar a tarefa integrada irá determinar a eficiência do software como auxilío na aprendizagem, ou seja, a sua qualidade pedagógica e ergonômica.

A figura 5.5 descreve a aprendizagem, o controle operacional e a integração destas atividades, que são essenciais para o uso eficiente do software educacional.

Num primeiro nível, as tarefas de aprendizagem são são simples, específicas a um dado tópico de conteúdo ou relacionadas com a área de estudo. Não há, nesse nível, ligação entre o conttrole operacional no que diz respeito ao software especificamente e as tarefas do sistema operacional.

As quatro tarefas: conceitos específicos e conceitos gerais da tarefa, características do sistema e do programa são considerados independentes umas das outras. Na medida em que se evolui para o nível dois, considera-se a integração entre a aprendizagem específica e geral, e o controle tanto do programa quanto do sistema operacional.

Num terceiro nível, a integração entre a aprendizagem e o controle do programa deve dar-se por completo. Isto revela o quanto o design do software compreende a necessidade do usuário e a maneira como o software deveria funcionnar.

O modelo de Jigsaw pode ajudar a pensar essa integração das tarefas de aprendizagem e operacional ajudando os avaliadores a focarem sua atenção para a integração destes dois fatores, fornecendo um suporte signuficativo na abordagem da avaliação a priori do uso de software educacional.

O sentido do modelo Jigsaw apresenta um elemento de complexidade novo na especificidade da didática para a aprendizagem com o uso do computador, pois exige do aluno novas adaptações cognitivas e representações mentais concernentes à organização e funcionamento do software e a interação deste com o conteúdo/ habilidade a ser aprendido.

5.3.6. TÉCNICA DE INSPEÇÃO DA CONFORMIDADE ERGONÔMICA DE SOFTWARE EDUCACIONAL - TICESE

A Técnica de Inspeção Ergonômica de Software Educacional (TICESE) (Gamez, 1998) é uma técnica que está em desenvolvimento no Laboratório de Utilizabilidade (LABIUTIL) em Florianópolis, e destina-se a apoiar os processo de avaliação do software educacional. A técnica favorece a elaboração de um laudo técnico com o objetivo de orientar os responsáveis, na instuição de ensino, sobre a decisão de comprar, para uso em contexto escolar. Nesta perspectiva, pretendeu-se criar uma técnica para a avaliação da conformidade ergonômica.

A técnica é formada por um conjunto específico de critérios de análise e tem seu suporte teórico nas ciências cognitivas, ergonomia de software, psicologia da aprendizagem e pedagogia. Aos critérios está associado um conjunto de questões que visa orientar o(s) avaliador(s) na difícil tarefa de inspecionar as qualidades ergonômico/pedagógicas do software educacional.

Três módulos compõem a técnica. o módulo de classificação, de avaliação e de contextualização.

5.3.6.1. Classificação

É introdutório. Tem como objetivo determinar a modalidade de software educacional (Tutorial, Exercício e prática, simulador, hipertexto, ou outra classificação), a identificação da abordagem pedagógica subjacente, (Construtivista, Behaviorista, Construcionista, ou outra) e por fim, a identificação das habilidades cognitivas exigidas (aplicação, análise, sintese, e avaliação – extensiva da Taxonomia de Bloom).

5.3.6.2. Avaliação

Consiste no principal módulo da técnica: avalia a conformidade do software educacional aos padrões ergonômicos de qualidade objetivando, assim, avaliar a capacidade do software em auxiliar o aprendizado específico. Através deste módulo é possível verificar os recursos pedagógicos e de apoio à aprendizagem utilizados e sua forma de operação. Neste caso, o módulo apoia também a avaliação da facilidade de uso do sistema e dos materiais impressos que o acompanham.

Os critérios definidos para efetuar esta inspeção foram desenvolvidos a partir de uma abordagem de convergência e de extensão dos critérios ergonômicos para interface de software em geral, propostos por Scapin&Bastien (1993).

As atividades segundo esta estratégia, basearam-se em uma revisão bibliográfica aprofundada sobre o tema e na aplicação dos critérios em desenvolvimento em situações de avaliação real de software educacional. O conjunto de critérios resultante é:

i) Qualidade da apresentação da informação
• abrangência dos dados de identificação (do produto, dos objectivos e pré requisitos técnicos e pedagógicos);
• organização e apresentação da documentação impressa (presteza, agrupamento de itens, legibilidade e densidade informacional);
• organização e apresentação da Informação on line (presteza, legibilidade, agrupamento/distinção de itens, feedback imediato);
• significado dos códigos e denominações;
• homogeneidade/coerência.
ii) Qualidade dos recursos
• qualidade dos recursos para a motivacão e compreensão dos conteúdos;
• qualidade dos Recursos de avaliação do aprendizado;
• qualidade da gestão de erros (correção, qualidade das mensagens e proteção contra os erros);
• qualidade da ajuda on-line.
iii) Qualidade da operação
• carga de trabalho (carga e densidade informacional, objetividade, ações mínimas);
• adaptabilidade (flexibilidade, consideração da experiência do usuário);
• controle explícito (ações explícitas e controle do usuário);
• compatibilidade.

É complementar ao critério anterior e visa auxiliar no processo de tomada de decisão sobre uma provável aquisição, mediante a adequabilidade do produto ao contexto específico da instituição. Cada instituição de ensino possui características e contextos próprios, que se diferenciam das demais. Apresentam projetos políticos pedagógicos próprios e, em geral, os recursos financeiros variam conforme suas disponibilidades.

A decisão sobre a aquisição do software não pode ser baseada unicamente na qualidade do produto em si, mas estar fundamentada sob uma série de considerações que avaliam a pertinência e adequabilidade do uso do software educacional na referida instituição.

A validação desta técnica se dará de duas formas. Primeiramente através de sua aplicação por profissionais ligados à educação e da verificação da pertinência dos resultados obtidos na avaliação. Em um segundo momento, pretende-se realizar um programa de ensaios de interação de software educacionais, que tenham sido previamente inspecionados através da técnica TICESE. A validação se dará pelo confronto dos resultados obtidos pelas duas técnicas.

5.4. CONSIDERAÇÕES SOBRE OS MODELOS APRESENTADOS

Os vários modelos e abordagens para concepção e avaliação de software educacional acima referidos demonstram o quão ampla e complexa é a tarefa de se estabelecer parâmetros gerais para conceber e avaliar software com qualidade pedagógica e ergonômica.

Um dos fatores desta complexidade advém da diversidade de tipologias, de produtos existentes (tutorial, exercício e prática, jogos, simulações, hipermídia pedagógica entre outros) e do contexto onde são utilizados, cada qual desenvolvido para desempenhar funções específicas na sua área.

Destas tipologias, Galvis-Panqueva (1997) demonstra bem o que se espera delas: de um software de exercício e prática, espera-se que permita ao aluno reforçar e generalizar as habilidades/conteúdos que tenha aprendido por outros meios didáticos, inclusive computacionais. Argumenta, também, que este tipo de software deve conter a necessária quantidade e variedade de exercícios, informações de retorno diferencial, segundo o desempenho do aluno, recursos motivadores e reforçadores que o ajudem a atingir tanto o seu objetivo quanto o da proposta pelo programa.

Da mesma forma, dos tipos tutoriais, espera-se, conforme o autor, que extrapole as funções dos de tipo exercício e prática, desta forma, "se supõe que ajude na apropriação do conhecimento através da apresentação contextualizada e dosada do conteúdo como preâmbulo ou como complementação do processo de exercitação"(Galvis-Panqueva, 1997 p. 11).

Os programas do tipo heurístico são aqueles que se caracterizam pelo paradigma psicológico das correntes cognitivistas, como por exemplo, a cognição situada. Espera-se destes programas que apoiem a descoberta e a construção de conceitos e habilidades, a partir da atividade de busca, de exploração ou de solução de problemas, pelo aprendiz, em ambientes do tipo: micromundos, EIAC (Ensino Inteligente Auxiliado por Computador), hipermídias pedagógicas, histórias especialistas e outros.

Garantir que estes produtos cumpram satisfatoriamente sua tarefa como ferramenta de apoio a aprendizagem é função de uma concepção bem planejada e uma avaliação eficaz de seus atributos pedagógicos e ergonômicos.

A aplicação de conhecimentos da ergonomia, mediante a análise do trabalho educacional informatizado é recomendável neste processo para diminuir os riscos de um produto mal concebido e/ou utilizado.

A abordagem ergonômica para concepção e avaliação de Interfaces Homem-Computador de Cybis (1997), associada aos cuidados de análise ao longo do projeto de Valentin et all (1993), descritas no capítulo 4, são ferramentas que auxiliam no processo de operacionalização do projeto

As contribuições de Mucchielli (1987) e Cronje (1998), por estarem centradas exclusivamente em produto de software para aplicação educacional, descritas neste capítulo, são bastante úteis para desenvolvedores, educadores e programadores.

Nos aspectos propriamente de avaliação, as contribuições de Oliveira (1987), Campos (1994), Niquini (1996), Reeves apud Campos (1996), Squires e Preece (1996), e Gamez (1998) demonstram bem a tendência dos critérios e aspectos que devem ser observados numa avaliação.

Particularmente o enfoque da avaliação de Campos (1994) e Gamez (1998) incluem a integração entre os aspectos ergonômicos da interface e os aspectos pedagógicos. Em Campos (1994) estes critérios estão presentes nos fatores e subfatores. Em Gamez (1998), nos ítens de cada módulo transformados em lista de verificação da conformidade ergonômica e pedagógica do produto de software.

O modelo Jigsaw, de Squires e Preece (1996), igualmente, enfoca a integração da temática educacional e usabilidade . Para eles, não se pode negligenciar a relação entre estes dois aspectos, pois, se justifica que sendo a interface de fácil utilização, isto não significa que o design do software seja apropriado em termos pedagógicos.

O modelo de Reeves apud Campos (1996), mesmo destacando critérios de interface, aborda de modo mais aprofundado o universo dos aspectos pedagógicos.

Existem, ainda, na literatura revisada, outras propostas de modelos, abordagens e metodologias para avaliação da qualidade de software educacional que não foram descritas ou citadas neste capítulo, mas que igualmente agregam sua contribuição à reflexão sobre este tema e ajudam na construção de novas propostas e ferramentas para a avaliação desses produtos, conforme propõe a sessão seguinte e para onde converge este trabalho.

5.5. UMA PROPOSTA DE ABORDAGEM PEDAGÓGICA E ERGONÔMICA PARA CONCEPÇÃO E AVALIAÇÃO DE PRODUTOS EDUCACIONAIS INFORMATIZADOS

Integrar as abordagens pedagógicas e ergonômicas para a concepção e avaliação de PEI constitui uma tarefa interdisciplinar e um esforço de equipe para atingir o pleno objetivo de validação e aplicação de uma ferramenta com esse propósito.

Os modelos e abordagens referidos neste trabalho auxiliam na construção de uma proposta neste sentido. Os conhecimentos e a experiência em pedagogia, em tecnologia educacional, em informática educativa, em ergonomia e em engenharia de software além de outros conhecimentos afins, são condições básicas para este objetivo.

Nesse sentido, em busca de uma abordagem multidisciplinar, propõe-se, a partir do aprofundamento e tratamento das bases levantadas neste trabalho, a construção de um modelo que integre os aspectos pedagógicos e ergonômicos na mesma ferramenta, contemplando os projetos educacional, comunicacional e computacional que um PEI requer e que possa ser estruturado de modo a auxiliar tanto projetistas como educadores, na concepção, avaliação e utilização (seleção e uso).

A estratégia primeira para construir esta ferramenta é levantar os objetivos pedagógicos e técnicos (ergonômicos) concernentes ao objetivo de reunir o maior número de informações sobre esta interdisciplinaridade e aplicá-las na construção deste modelo.

Os modelos desenvolvidos por Campos (1994), Squires & Preece (1996) e Gamez (1998), oferecem um suporte significativo para levantar estas informações e aprofundá-las.

A proposta para o desenvolvimento deste modelo inclui abordar elementos conforme quadro 5.4. Este modelo deve ser construído de forma que o profissional tenha uma visão geral dos elementos e sub-elementos que deverá observar, facilitando-lhe a pesquisa sobre estes elementos e seja aplicável às várias tipologias de PEI, podendo ser feita mediante questões de verificação da conformidade ergonômica e pedagógica ao formato de checklist e/ou orientações para ensaios de interação.