Avaliação do Engajamento em Sala de Aula, Expressão Reflexiva e Intenção Prosocial de Estudantes Universitários Utilizando Observação Comportamental e Análise de Aprendizagem

Resumo

Este protocolo integra observação em sala de aula, escrita reflexiva, medição de intenções prosociais e análise de dados de aprendizagem para avaliar o engajamento comportamental, a expressão reflexiva e os resultados de aprendizagem orientados para o social de estudantes universitários ao longo de um período instrucional de 4 semanas. Ele especifica a aprovação ética, o conteúdo dos instrumentos, o fluxo de trabalho de software, o tratamento de dados ausentes, procedimentos de solução de problemas e a interpretação de resultados representativos, incluindo as restrições observadas na implementação.

Resumo

Para atender à necessidade de avaliações multidimensionais do envolvimento dos estudantes para além das métricas tradicionais, este protocolo descreve uma abordagem estruturada para avaliar o engajamento em sala de aula, a expressão reflexiva, a atividade de análise de aprendizagem e a intenção pró-social em cursos de graduação. O protocolo combina observação comportamental baseada em intervalos, escrita reflexiva estruturada semanal, registros anônimos de sistemas de gestão de aprendizagem e um questionário de intenção pró-social aplicado antes e depois. Os procedimentos revisados fornecem um modelo reprodutível de codificação comportamental, uma rubrica de expressão reflexiva com exemplos de pontuação, etapas de gerenciamento de software e dados e orientações explícitas para solução de problemas relacionados a desacordos entre observadores, registros da plataforma ausentes, baixas taxas de envio de reflexões, visibilidade insuficiente da câmera, desistência de participantes e conhecimentos prévios inconsistentes. Este protocolo deve ser utilizado quando os pesquisadores precisarem de uma forma de baixa intrusão e reprodutível de combinar comportamento em sala de aula em tempo real, autorrelato dos estudantes e atividades rotineiras no sistema de gestão de aprendizagem (LMS) durante o ensino de graduação. É menos adequado para cursos totalmente assíncronos sem interação observável, contextos que proíbem observação independente ou vinculação de registros, ou estudos que exijam inferência biométrica ou reconhecimento de emoções. Os resultados representativos são relatados a partir da aplicação empírica implementada após aprovação ética verificada, anonimização dos registros do curso e preparação do repositório.

Introdução

Avaliar a participação do estudante no ensino superior exige uma abordagem abrangente e com múltiplas fontes. Embora o engajamento do estudante seja amplamente conceituado como um constructo multidimensional que abrange comportamento observável, esforço cognitivo e interação com o ambiente, as abordagens analíticas atuais dependem predominantemente de dados superficiais de registro, como frequências de login e ações registradas pelo sistema¹. Essa dependência excessiva representa um desafio significativo para pesquisas práticas baseadas em sala de aula. As formas mais importantes de participação instrucional — interações diretas entre colegas, reflexão cognitiva e contribuições sociais — ocorrem frequentemente totalmente além do escopo limitado de visibilidade da plataforma².

A complexidade da sala de aula universitária moderna intensificou-se com a adoção de modelos pedagógicos híbridos, combinando plataformas digitais com a instrução tradicional presencial. Embora revisões sistemáticas de análises de aprendizagem confirmem que os rastros digitais oferecem informações valiosas sobre a alocação de tempo, padrões de acesso e taxas de retenção a longo prazo, essas métricas isoladamente não conseguem determinar se a atenção do aluno é genuinamente eficiente ou significativa³. Consequentemente, estudos recentes defendem a fundamentação das análises de aprendizagem em estruturas teóricas mais robustas, alinhando rastros digitais a medidas mais ricas e dependentes do contexto de participação, como o comportamento em sala de aula e atividades reflexivas⁴.

A escrita reflexiva confere uma dimensão qualitativa essencial a esta avaliação. Reflexões estruturadas após as aulas e diários registram as interpretações dos alunos sobre as atividades de aprendizagem, esclarecem desafios instrucionais e conectam conteúdos teóricos com ações práticas subsequentes. Evidências empíricas recentes conceituam a expressão reflexiva como um constructo integrado e multifacetado, composto por recordação descritiva, inferência analítica, representação autorreferencial e generalização de significados⁵. Além disso, pesquisas indicam que fornecer orientação reflexiva repetida aos alunos fortalece progressivamente sua capacidade de introspecção; à medida que aumenta a frequência da reflexão estruturada durante o curso, as habilidades exploratórias independentes dos alunos também melhoram simultaneamente⁶.

Uma segunda lacuna importante na pesquisa atual sobre engajamento é a marginalização frequente da socialização em sala de aula. Embora estudos existentes enfatizem fortemente o comportamento ou a cognição individuais, as salas de aula universitárias funcionam como ambientes de aprendizagem inerentemente sociais, nos quais os alunos se influenciam mutuamente por meio da colaboração e de interações recíprocas. Evidências recentes demonstram que o clima da sala de aula e as estruturas de participação estão fortemente correlacionados com comportamentos pró-sociais e uma mentalidade voltada para a contribuição—resultados que permanecem pouco investigados em comparação com métricas tradicionais de desempenho acadêmico ou satisfação do aluno. O comportamento pró-social em contextos acadêmicos não é meramente um subproduto de estados emocionais ou do estresse; ao contrário, está fundamentalmente relacionado à forma como os alunos se posicionam dentro de atividades coletivas de aprendizagem⁷. Portanto, mensurar a intenção pró-social constitui uma lente apropriada para determinar se o engajamento em sala de aula vai além da simples conclusão de tarefas isoladas, promovendo comportamentos cooperativos e encorajadores para além do ambiente instrucional imediato⁸.

Esses avanços conceituais destacam a necessidade de um quadro integrado de coleta de evidências implementado dentro de uma única janela instrucional. Um desenho com múltiplas fontes atenua as limitações do uso de uma única métrica, permitindo a validação cruzada entre diferentes modos de participação e revelando como os estudantes interpretam suas atividades pós-aula para promover a aprendizagem independente⁹. Embora avaliações reflexivas captem o estado cognitivo interno do aluno, ancorar esses relatos autorreferidos com traços comportamentais objetivos aumenta significativamente a interpretabilidade dos dados de aprendizagem. Atualmente, observa-se uma ausência notável de protocolos práticos, prontos para uso em sala de aula, que sintetizem de forma contínua observação comportamental sistemática, relatos reflexivos estruturados e análise de aprendizagem para implementação rotineira em universidades.

Para abordar essas deficiências metodológicas, este artigo apresenta um protocolo de avaliação projetado para medir simultaneamente o engajamento em sala de aula, a expressão reflexiva e a intenção pró-social de estudantes universitários. Desenvolvido especificamente para ambientes de graduação, o protocolo oferece uma metodologia simplificada que exige mínima carga administrativa sem comprometer a reprodutibilidade científica. Ao preencher a lacuna analítica entre comportamentos observáveis, experiências subjetivas articuladas e resultados de aprendizagem orientados socialmente, esta estrutura atende à crescente demanda por maior clareza conceitual nas pesquisas sobre interação humano-tecnologia em ambientes educacionais¹⁰.

Protocolo

Todos os métodos envolvendo participantes humanos foram realizados em conformidade com a Declaração de Helsinque e as diretrizes institucionais pertinentes. Para o estudo implementado, o protocolo foi aprovado pelo Comitê de Ética do Instituto de Tecnologia de Nanchang antes do início da recrutamento (número de aprovação: NITE778291). O consentimento informado por escrito foi obtido de todos os estudantes participantes. Apenas dados agregados e desidentificados de observação em sala de aula, escores de reflexão, análises de aprendizagem e questionários foram utilizados para análise; vídeos identificáveis de sala de aula, nomes, IDs institucionais e textos de reflexão não editados foram excluídos da divulgação pública.

1. Desenho do estudo e seleção dos participantes

1. Implemente o protocolo ao longo de quatro períodos letivos consecutivos para cada turma selecionada. Registre rótulos de curso sem identificação, formato instrucional, tamanho da turma, experiência do instrutor com o curso e se cada turma inclui instrução coletiva, trabalho em grupo ou prática individual. Pretenda uma matrícula inicial de aproximadamente 180 a 210 estudantes universitários com 18 anos ou mais, ou adapte a meta de tamanho da amostra ao contexto do curso.
2. Garanta que todos os participantes tenham uma conta institucional ativa na plataforma do curso, que compareçam às aulas observadas e que tenham recebido as orientações prévias normalmente fornecidas à turma. Quando o conhecimento prévio variar substancialmente, forneça um breve material de apoio, uma lista de recursos pré-aula ou uma revisão conduzida pelo instrutor antes do período de observação, registrando o suporte oferecido como metadados contextuais.
3. Obtenha consentimento informado por escrito de todos os estudantes após fornecer um informativo escrito completo. Declare claramente no formulário de consentimento que o estudo vincula observação do comportamento em sala de aula, escrita reflexiva semanal e registros anônimos da plataforma de aprendizagem.
4. Inclua apenas estudantes que deram consentimento no conjunto de dados da pesquisa. Garanta que a recusa em participar não afete frequência, notas, acesso ao curso ou comunicação com o instrutor.
   1. Explique os usos permitidos e proibidos de ferramentas de inteligência artificial (IA) antes da primeira tarefa reflexiva.
      NOTA: Ferramentas de IA podem ser usadas somente quando permitidas pela política do curso e apenas para apoio geral aos estudos; as submissões reflexivas e as respostas sobre intenções pró-sociais devem descrever a experiência própria do estudante e devem declarar qualquer assistência por IA.
   2. Se o instrutor permitir o uso de IA para suprir conhecimentos prévios, forneça os mesmos prompts ou recursos aprovados a todos os estudantes e registre esse suporte como uma adaptação do protocolo. Não utilize resumos gerados por IA como evidência principal da reflexão do estudante, a menos que o estudo de validação avalie explicitamente respostas assistidas por IA.
5. Exclua estudantes antes da análise se recusarem o consentimento, desistirem do curso durante o período do protocolo ou não tiverem dados correspondentes nas registros de observação, reflexão e análises. Utilize um delineamento com medidas repetidas para coletar dados consistentes das três fontes distintas ao longo de um período de 4 semanas².

2. Aquisição de dados de linha de base e gerenciamento de identidade

1. Designe um único administrador de dados para atribuir um ID de estudo alfanumérico de oito caracteres a cada participante que consentiu, por meio de um processo pseudoaleatório.
2. Crie um arquivo de vinculação entre identidade e ID de estudo contendo nomes dos estudantes, IDs institucionais, turmas e números de estudo. Armazene este arquivo com segurança e separadamente dos arquivos analíticos, garantindo que ele permaneça completamente inacessível a observadores, codificadores de reflexão e pesquisadores.
3. Destrói ou arquive esse arquivo de vinculação após a verificação final dos dados, conforme a política institucional aprovada de retenção de dados, mantendo conformidade com as práticas atuais de análise de aprendizagem no ensino superior relativas à vinculação restrita e desidentificação¹.
4. Colete dados demográficos iniciais sobre idade, gênero, ano acadêmico e área de formação dos participantes durante a semana inicial anterior à primeira aula observada.
5. Utilize o questionário estruturado de intenção pró-social de seis itens no Arquivo Suplementar 1 como instrumento de linha de base antes da primeira aula observada. Aplique-o eletronicamente por meio do sistema de gestão de aprendizagem (LMS) ou em papel, usando apenas o ID de Estudo atribuído. Os estudantes avaliam cada item em uma escala de 5 pontos, variando de 1 = discordo totalmente a 5 = concordo totalmente; calcule a pontuação inicial como a média dos itens respondidos quando pelo menos cinco dos seis itens forem preenchidos.
6. Exporte todos os textos reflexivos coletados posteriormente sem nomes, endereços de e-mail ou outros identificadores pessoais para garantir anonimato completo antes do início do processo de codificação qualitativa.

3. Preparação para observação em sala de aula

1. Agende observações para cada turma uma vez por semana durante 4 semanas consecutivas. Para uma aula padrão de 90 minutos, defina uma janela observada de 70 minutos, excluindo os primeiros 10 minutos e os últimos 10 minutos da codificação⁵.
2. Inicie a codificação no 10^º minuto e encerre no 80^º minuto de uma aula padrão de 90 minutos. Esses períodos de espera não fazem parte da janela de observação de 70 minutos; portanto, uma aula padrão fornece 70 minutos de observação codificada, e não uma sessão de 30 minutos.
3. Exclua qualquer bloco instrucional interrompido da avaliação final se a aula sofrer uma interrupção com duração superior a 5 minutos devido a alarmes, mudanças de sala ou falhas na plataforma.
4. Trate o engajamento em sala de aula como uma composição observável de múltiplos comportamentos, registrando simultaneamente diversos indicadores comportamentais em cada ponto de medição¹¹. Os indicadores incluem atenção na tarefa, participação verbal, colaboração entre colegas, anotações ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e comportamento de busca de ajuda.
5. Organize a disposição dos assentos em sala de aula por grupos antes da primeira observação e mantenha rigorosamente essa configuração durante todo o período de 4 semanas.
6. Posicione dois observadores treinados em locais fixos com visão completa da sala para codificar de forma independente. Se a filmagem institucional for permitida e os participantes consentirem, instale duas câmeras fixas nas áreas traseiras central e lateral e sincronize-as antes da sessão.
7. Utilize as gravações de câmera apenas para treinamento dos observadores, verificação de confiabilidade e resolução de problemas de visibilidade; não use gravações em vídeo como fonte primária de codificação e não realize análises de emoções faciais, emoções vocais, biométricas ou de reconhecimento de identidade.

Codificação comportamental baseada em intervalos

1. Divida a janela de observação de 70 minutos em intervalos consecutivos compostos por uma varredura visual de 20 s seguida por um período de registro de 10 s. Se uma aula em grande auditório, laboratório ou online exigir um comprimento de intervalo diferente, informe a estrutura de intervalo adaptada e justifique-a antes do início da coleta de dados.
   NOTA: Esta estrutura de 20 s/10 s equilibra a observação ecológica em sala de aula com a carga de trabalho do codificador: o período de varredura é longo o suficiente para detectar atenção sustentada, colaboração e comportamento fora da tarefa, enquanto o período de registro reduz a carga de memória e favorece decisões binárias consistentes.
2. Varra continuamente, em ciclo, um grupo claramente definido de até dez alunos por intervalo, com base no arranjo de assentos.
3. Utilize critérios específicos de varredura para evitar inconsistências entre codificadores causadas por definições operacionais vagas⁴. Codifique seis indicadores binários em nível discente durante cada varredura. Eles incluem atenção na tarefa, participação verbal, colaboração entre colegas, anotação de notas ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e comportamento de busca de ajuda.
4. Marque um indicador como "1" se o comportamento designado ocorrer em qualquer momento durante a varredura de 20 s. Caso contrário, marque-o como "0". Codifique o intervalo como ausente se um aluno não estiver visível por pelo menos 10 s da varredura.
5. Registre atenção na tarefa quando um aluno se orientar visualmente para o instrutor, tarefas designadas, informações apresentadas ou colegas envolvidos em discussões sobre a tarefa por pelo menos 5 s consecutivos. Codifique participação verbal para qualquer contribuição audível e relacionada à tarefa.
6. Codifique colaboração entre colegas quando os alunos participarem de trocas visíveis baseadas na tarefa, resolução conjunta de problemas ou explicações mútuas. Registre anotação de notas voltadas para a tarefa ou uso de dispositivos durante escrita ativa, digitação ou interação digital com os materiais do curso.
7. Marque distração fora da tarefa se um aluno se envolver em conversas não relacionadas, uso não acadêmico de dispositivos ou desengajamento sustentado por pelo menos 5 s consecutivos. Registre busca de ajuda quando um aluno solicitar explicitamente esclarecimentos ou assistência ao instrutor ou colegas.
8. Calcule a pontuação comportamental semanal de cada aluno como o número total de julgamentos positivos dividido pelo número de avaliações válidas. Calcule posteriormente as médias de 4 semanas para os seis indicadores.
9. Calcule um Índice Combinado de Engajamento em Sala de Aula Observado (OCEI) para o aluno i na semana w utilizando o modelo matemático previamente especificado: OCEI_iw = [Atenção na tarefa_iw + Participação verbal_iw + Colaboração entre colegas_iw + Anotação de notas/uso de dispositivos voltados para a tarefa_iw + (1 - Distração fora da tarefa_iw)]/5.
10. Mantenha a busca de ajuda como uma variável analítica independente, pois pode representar tanto esclarecimento construtivo quanto dificuldade com o conteúdo instrucional, dependendo do contexto¹². Consulte Figura 1 para o fluxo do estudo e Tabela 1 para os índices de observação e regras de codificação.

5. Treinamento do observador e avaliação da confiabilidade

1. Realize o treinamento do observador utilizando uma sessão de treinamento manual de 60 minutos e execute três rodadas de calibração antes do programa formal.
2. Realize a primeira rodada de calibração por meio da codificação guiada de um vídeo de sala de aula que não pertença ao estudo. Complete as duas rodadas subsequentes como codificações independentes de vídeos diferentes que não pertençam ao estudo, seguidas por comparações estatísticas diretas com o codificador sênior.
3. Inicie a coleta formal de dados somente quando o Kappa de Cohen atingir ou ultrapassar 0,75 e o acordo total entre avaliadores superar 85%.
4. Implemente verificação de deriva duplo-cega em 10% das sessões completas e em um segmento aleatorizado de 10 minutos das sessões restantes ao longo do protocolo de 4 semanas.
5. Recalibre a equipe de codificação em até 72 horas e reverifique as sessões afetadas antes do bloqueio dos dados se o valor de Kappa cair abaixo de 0,70 para qualquer indicador. Forneça continuamente feedback e organize exercícios de calibração para manter a estabilidade da avaliação ao longo do tempo¹³.

6. Coleta e avaliação da expressão reflexiva

1. Instrua os estudantes a submeterem um texto reflexivo estruturado (100–350 palavras) para cada aula observada, gerando 4 entradas por participante ao longo do protocolo de 4 semanas.
2. Libere os estímulos reflexivos por meio do LMS ou de um formulário impresso dentro de 2 h após a aula observada, e encerre o período de submissão 72 h depois. O formulário deve exibir o campo ID do Estudo e os três estímulos a seguir, na mesma ordem, para todos os estudantes:
   1. Identifique os momentos em que se sentiram mais e menos envolvidos durante a aula.
   2. Explique as causas contextuais, incluindo dificuldade da tarefa, conhecimentos prévios, interação em grupo, explicação do instrutor ou uso da plataforma.
   3. Descreva como sua participação influenciou o clima em sala de aula e quais ações futuras pretendem adotar.
      NOTA: Mantenha entradas com menos de 100 palavras, mas marque-as no banco de dados como de baixa informação. Também marque entradas que omitam o estímulo sobre envolvimento, causa contextual ou ação futura/impacto social, pois essas omissões afetam a pontuação da qualidade reflexiva e o relato de viabilidade.
3. Atribua dois codificadores cegos para avaliar as submissões quanto à especificidade descritiva, profundidade analítica, orientação autorregulatória e significado social pró-social.
   1. Avalie cada dimensão usando uma escala de 4 pontos, em que 0 indica ausência, 1 indica evidência fraca ou vaga, 2 indica evidência clara, mas limitada, e 3 indica evidência forte e bem desenvolvida. Por exemplo, a profundidade analítica é pontuada como 0 quando nenhuma razão é fornecida, 1 quando o estudante afirma apenas que a atividade foi difícil, 2 quando o estudante relaciona a dificuldade a um conceito específico ou condição em sala de aula, e 3 quando o estudante explica a interação entre conhecimento prévio, discussão entre pares, feedback do instrutor e uma estratégia de aprendizagem planejada. Tabela 2 e Arquivo Suplementar 1 fornecem exemplos de níveis de pontuação para as quatro dimensões reflexivas.
4. Inicie a avaliação formal somente após alcançar um coeficiente de correlação intraclasse de 0,80 ou superior para cada dimensão nos textos piloto¹⁴.
5. Realize a pontuação dupla aleatória de 15% das reflexões do estudo durante o protocolo para controlar desvios dos avaliadores. Avalie os escritos reflexivos com base nessas métricas qualitativas multidimensionais, em vez de depender exclusivamente do comprimento do texto ou da frequência de palavras.
6. Elabore ou adapte a matriz de avaliação da expressão reflexiva mediante revisão por especialistas, com pelo menos dois pesquisadores em educação e um instrutor do curso. Aplique a matriz em 20 a 30 reflexões não pertencentes ao estudo, revise descritores ambíguos e documente a versão final da matriz antes do início da codificação formal.
7. Aplicar o questionário de intenção pró-social apresentado no Arquivo Suplementar 1. Peça aos estudantes que avaliem sua disposição para ajudar colegas com dificuldades, compartilhar recursos de aprendizagem, contribuir construtivamente nas discussões, encorajar colegas, agir com justiça em tarefas em grupo e melhorar o clima de aprendizagem em sala de aula. Utilize uma escala de 5 pontos variando de 1 (discordo totalmente) a 5 (concordo totalmente). Calcule a pontuação média quando pelo menos cinco dos seis itens forem respondidos e informe o alfa de Cronbach nas aplicações basal e pós-protocolo.

7. Extração de análises de aprendizagem

1. Designe um administrador externo para extrair os dados de análise de aprendizagem após a Semana 4 para evitar qualquer contaminação dos processos de observação e reflexão.
2. Defina a janela de extração das 00:00 do dia da primeira aula observada até as 23:59 do dia final da janela de reflexão.
3. Extraia apenas as variáveis previamente especificadas necessárias para o protocolo. Registre o número de dias ativos na plataforma, visualizações distintas de recursos, a proporção de recursos atribuídos abertos, a quantidade de respostas postadas nos fóruns de discussão, a taxa média de conclusão de vídeos e a pontualidade nas entregas de tarefas.
4. Limpe as exportações brutas removendo contas pertencentes a instrutores e monitores, registros duplicados, eventos de teste e pontos de dados fora do período designado.
5. Considere um dia ativo como qualquer data do calendário que contenha pelo menos um acesso autenticado ao curso seguido por uma interação significativa, como abrir arquivos, assistir a vídeos ou postar respostas.
6. Conte aberturas únicas de recursos ignorando eventos duplicados de atualização ocorridos dentro de um intervalo de 60 s. Determine a taxa de conclusão de vídeo truncando a fração assistida em relação ao tempo programado às 01:00, depois calcule a média entre todos os itens de mídia atribuídos.
7. Calcule a pontualidade nas entregas com base na proporção de tarefas submetidas antes dos prazos estabelecidos. Calcule a proporção de acessos noturnos como a razão entre eventos significativos ocorridos entre 00:00 e 06:00 e o total de atividades significativas dentro do período de observação. Baseie-se nessas métricas vinculadas ao tempo e à contribuição para fornecer informações mais ricas do que a simples acumulação de registros¹⁵.
8. Utilize um fluxo de trabalho pré-especificado de gerenciamento de dados para a exportação bruta do sistema de gestão de aprendizagem. Salve a exportação original como um arquivo somente leitura, crie uma cópia de trabalho sem identificação, remova as contas de instrutores e monitores, elimine eventos duplicados ou de teste e mantenha um registro de processamento com contagem de linhas após cada etapa de limpeza.
9. Realize a limpeza dos dados em uma planilha ou posteriormente e a análise estatística no R versão 4.4.0 ou posterior, ou software equivalente.
   1. Em uma planilha, siga os passos descritos em 7.9.1.1–7.9.1.2.
      1. Importe os arquivos CSV sem identificação usando Dados > Obter Dados > De Texto/CSV e use Dados > Remover Duplicatas para eliminar linhas duplicadas de ID do Estudo/data-hora/evento.
      2. Aplicar Filtro para excluir contas de instrutores ou monitores e registros fora da janela, e salve um registro de processamento com contagem de linhas após cada etapa.
   2. No R, siga os passos descritos em 7.9.2.1–7.9.2.3.
      1. Importe arquivos com readr::read_csv(), reestruture registros semanais com dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() e tidyr::pivot_wider().
      2. Calcule o kappa de Cohen com irr::kappa2(), os ICCs com psych::ICC() e o alfa de Cronbach com psych::alpha().
      3. Ajuste modelos lineares com ajuste por turma usando stats::lm(); use lme4::lmer() quando for necessário um intercepto aleatório pré-especificado por turma e use lme4::glmer(family = binomial) apenas para resultados binários. Arquive o script exato e as versões dos pacotes junto com os materiais de submissão.
10. Utilize a seguinte sequência de análise reprodutível.
    1. Calcule as proporções de observação por aluno-semana, compute o OCEI usando a fórmula no passo 4.9 e una as pontuações de reflexão semanais por ID do Estudo e semana.
    2. Agregue as variáveis de análise de aprendizagem ao longo da mesma janela de 4 semanas, inspecione a ausência de dados por fonte, calcule estatísticas descritivas e estimativas de confiabilidade e ajuste os modelos de associação pré-especificados.
    3. Não adicione preditores não planejados após a inspeção dos resultados, a menos que sejam rotulados como exploratórios.
11. (Opcional) Para transparência, deposite um script de análise sem identificação, livro de códigos, formulários de codificação em branco, estímulos para reflexão, rubrica de reflexão e questionário pró-social em um repositório público ou materiais suplementares. Não deposite vídeos brutos identificáveis da sala de aula, nomes, IDs institucionais ou textos de reflexão não editados.

8. Medição pós-protocolo e integração do conjunto de dados

1. Administre o instrumento de intenção pró-social uma segunda vez imediatamente após a conclusão da janela final de reflexão.
2. Solicite aos estudantes que avaliem sua disposição para ajudar colegas, compartilhar recursos, contribuir de forma construtiva para discussões, encorajar pares, agir com justiça e melhorar o clima de aprendizagem em uma escala que varia de 1 (discordo totalmente) a 5 (concordo totalmente). Calcule a pontuação total pós-protocolo de cada indivíduo fazendo a média das respostas, desde que tenham respondido pelo menos cinco dos seis itens.
3. Combine os arquivos de observação, as pontuações de reflexão e os registros de análise de aprendizagem usando o ID do Estudo anonimizado. Construa dois conjuntos finais de dados a partir dessa combinação para criar um arquivo mestre por participante e um arquivo no formato longo por semana.
4. Não impute intervalos de observação ausentes causados pela invisibilidade do estudante, nem reflexões semanais ausentes devido à não entrega. Marque reflexões parcialmente concluídas, variáveis de análise de aprendizagem incompletas, reflexões com baixo conteúdo informativo e IDs do Estudo não correspondentes antes da análise.
5. Utilize análise de casos completos para modelos de associação pré-especificados, informe o número de casos excluídos para cada modelo e realize uma verificação de sensibilidade comparando estudantes incluídos e excluídos nas variáveis basais disponíveis.
6. Mantenha a intenção pró-social como medida primária de desfecho para refletir as atitudes solidárias e colaborativas que sustentam as mudanças estruturais na participação de estudantes universitários.

9. Solução de problemas e adaptações do protocolo

1. Se dois observadores discordarem em mais de um padrão de categoria binária ao longo do mesmo agrupamento de alunos ou se o kappa de Cohen for inferior a 0,70 para qualquer indicador, suspenda a pontuação formal para a sessão afetada, revise as definições operacionais, realize um segmento de recodificação de 10 minutos e recodifique o intervalo afetado antes do bloqueio dos dados.
2. Se as exportações da plataforma estiverem incompletas, documente o campo ausente, solicite uma segunda exportação ao administrador externo e mantenha o aluno nos resumos de observação/reflexão, excluindo a variável analítica indisponível dos modelos que exigem esse campo.
3. Se menos de 80% das reflexões esperadas forem enviadas dentro de 48 horas após a abertura da tarefa, envie um lembrete neutro para toda a turma, estenda o suporte técnico para problemas de acesso e informe separadamente as contagens finais de envios no prazo, atrasados e ausentes.
4. Se mais de 10% dos alunos em um agrupamento não estiverem visíveis por pelo menos metade do período de observação, codifique os intervalos afetados como ausentes e baseie-se nos registros do observador presencial em vez de tentar inferir comportamentos a partir de vídeos obstruídos.
5. Se um aluno desistir, recusar participação adicional ou não tiver dados vinculáveis entre as fontes, remova esse aluno dos modelos de associação vinculada, mas mantenha as contagens agregadas de viabilidade do protocolo quando permitido pela aprovação ética.
6. Se vários alunos indicarem que uma seção é difícil de compreender, o instrutor deve fornecer a resposta pedagógica habitual, como uma breve reexplicação, exemplo resolvido, discussão entre pares ou recurso complementar. Registre isso como um evento contextual, pois pode influenciar a busca de ajuda, a profundidade da reflexão e a atividade na plataforma.
7. Adapte o tamanho do agrupamento de alunos, a duração do intervalo, os estímulos para reflexão e as variáveis analíticas ao formato instrucional, mas mantenha a mesma lógica de indicadores comportamentais pré-definidos, registros sem identificação, codificação independente e regras transparentes para dados ausentes.
8. Considere baixa confiabilidade, alta taxa de dados ausentes, profundidade limitada de reflexão, mudanças prosociais fracas e fraca concordância entre as fontes de dados como resultados informativos da implementação, e não como falhas do protocolo. Relate esses resultados e explique se eles refletem o contexto da sala de aula, limitações do instrumento ou problemas na coleta de dados.

Resultados

Inclusão dos participantes, integridade dos dados e confiabilidade dos escores
Um coorte inicial de 204 estudantes de todas as turmas foi convidado a participar, resultando em 198 indivíduos que consentiram. Quatorze casos foram posteriormente excluídos devido à desistência do curso durante o período do protocolo ou à falta de vinculação completa dos dados entre os registros de observação, reflexão e plataforma. Consequentemente, a amostra analítica final compreendeu 184 estudantes. As características dos participantes, as taxas semanais de conclusão e a integridade geral dos dados são detalhadas na Tabela 3.

Ao longo do programa de 4 semanas, foram observadas 24 sessões de aula, gerando um registro sincronizado de análise de aprendizagem para cada participante. Dos 736 relatórios reflexivos esperados, 701 foram enviados dentro da janela de 72 horas, 18 foram enviados com atraso e 17 estavam ausentes. No total, 171 estudantes concluíram com sucesso todas as reflexões semanais no prazo. A análise de aprendizagem foi completamente extraída para os 184 participantes finais após a filtragem de contas de instrutores, entradas duplicadas e atividades fora do período estipulado.

A codificação observacional manteve-se altamente estável ao longo do período do protocolo. A confiabilidade entre avaliadores para os seis índices comportamentais da observação em sala de aula demonstrou valores de kappa de Cohen variando de 0,76 a 0,84, com concordância geral durante os testes de deriva superando 86%. Para as pontuações de expressão reflexiva, os coeficientes de correlação intraclasse (ICCs) nas quatro dimensões variaram entre 0,82 e 0,89. Tabela 4 apresenta as estatísticas descritivas e os índices de confiabilidade para as variáveis primárias do estudo.

Observação comportamental em sala de aula
Os comportamentos observados em sala de aula exibiram melhora gradual ao longo do protocolo de 4 semanas. Conforme ilustrado na Figura 2, a atenção na tarefa, a participação verbal e a colaboração entre colegas foram significativamente maiores na Semana 4 em comparação com as semanas iniciais. Especificamente, a participação verbal aumentou de 0,18 ± 0,09 na primeira semana para 0,24 ± 0,10 na quarta semana (p < 0,05). A colaboração entre colegas também aumentou, passando de 0,29 ± 0,11 para 0,35 ± 0,12 (p = 0,006). A atenção na tarefa demonstrou melhora altamente significativa, mudando de 0,71 ± 0,12 para 0,76 ± 0,11 (p < 0,001).

Por outro lado, a anotação de aulas focada na tarefa ou o uso de dispositivos mostraram apenas aumentos marginais semanais que não alcançaram significância estatística (p = 0,08). O comportamento de busca de ajuda manteve-se consistentemente baixo ao longo do período de observação, não exibindo efeito significativo do tempo (p = 0,21). A distração fora da tarefa diminuiu significativamente de 0,14 ± 0,08 na Semana 1 para 0,11 ± 0,07 na Semana 4 (p = 0,03). No geral, o Índice Composto de Engajamento em Sala de Aula Observado aumentou significativamente de 0,52 ± 0,10 durante a primeira semana para 0,58 ± 0,11 na última semana (p < 0,001).

Expressões reflexivas ao longo do protocolo de 4 semanas
As expressões reflexivas evoluíram durante o período do estudo, embora a magnitude da mudança tenha variado entre suas subdimensões. Conforme mostrado na Figura 3, a pontuação total de reflexão aumentou de 7,2 ± 1,9 na Semana 1 até a Semana 4 (p < 0,001).

A profundidade analítica foi notavelmente maior ao final da Semana 4 em comparação com as duas primeiras semanas (p < 0,001). De forma semelhante, o significado social-prosocial aumentou de 1,08 ± 0,55 para 1,54 ± 0,60 (p < 0,001), e a orientação autorregulatória aumentou de 1,42 ± 0,63 para 1,69 ± 0,65 (p < 0,05). Em contraste, a especificidade descritiva apresentou uma leve tendência ascendente, de 2,14 ± 0,57 para 2,24 ± 0,55, a qual não foi estatisticamente significativa (p = 0,09).

Os envios tiveram uma média entre 223 e 231 palavras por entrada ao longo do protocolo. Dos 736 relatórios reflexivos esperados, 18 foram enviados com atraso e 17 estavam ausentes; entradas com baixa informação e respostas que omitiram a causa contextual ou o estímulo sobre ação futura/impacto social foram sinalizadas na base de dados. Esses casos foram mantidos como indicadores de viabilidade e foram excluídos apenas dos modelos específicos de qualidade de reflexão semanal quando a pontuação relevante não pôde ser atribuída.

Padrões de análise de aprendizagem durante o período de estudo
As métricas de atividade na plataforma exibiram considerável variância interindividual ao longo do período de quatro semanas, conforme ilustrado na Figura 4.

Ao longo do período total, os estudantes tiveram em média 9,7 ± 2,4 dias ativos na plataforma. O número médio de visualizações distintas de recursos foi de 27,3 ± 8,6, com os estudantes abrindo uma proporção média de 0,81 ± 0,14 dos recursos atribuídos. Além disso, a média de respostas em discussões foi de 4,8 ± 2,7. A pontualidade média nas tarefas e a taxa média de conclusão de vídeos foram de 0,86 ± 0,18 e 0,79 ± 0,17, respectivamente. A proporção de acessos à plataforma no período noturno apresentou média de 0,12 ± 0,09.

Notavelmente, as respostas nas discussões e a pontualidade nas tarefas demonstraram correlações positivas mais acentuadas com outros indicadores de participação, apesar da ampla distribuição dos escores de pontualidade.

Associação cruzada de observações, reflexões e dados de aprendizagem
As três fontes de dados demonstraram associações significativas, embora não uniformes. Conforme mostrado na Figura 5, estudantes com índices mais altos de Engajamento em Sala de Aula Observado tenderam a obter pontuações totais mais altas nas reflexões. No modelo ajustado por seção, o engajamento em sala de aula observado predisse positivamente a pontuação total da reflexão (β = 0,34, p < 0,001).

Entre as variáveis de análise de aprendizagem, as respostas em discussões e a pontualidade nas tarefas correlacionaram-se significativa e positivamente com a qualidade da reflexão. Conforme detalhado na Tabela 5, as respostas em discussões predisseram positivamente a pontuação total da reflexão (β = 0.19, p = 0.013), assim como a pontualidade nas tarefas (β = 0.17, p = 0.028). Embora o número bruto de visualizações de recursos e a proporção de recursos atribuídos abertos tenham mostrado associações positivas inicialmente, essas correlações enfraqueceram significativamente após o ajuste para variáveis de confusão. A proporção de acesso no período noturno não apresentou associação significativa com a pontuação total da reflexão (p = 0.18).

Os dados também revelaram correlações cruzadas leves entre o comportamento observado em sala de aula e atividades específicas na plataforma; por exemplo, as visualizações brutas de recursos correlacionaram-se apenas marginalmente com o Índice de Engajamento em Sala de Aula Observado. Além disso, estudantes que participaram com maior frequência em discussões em grupo exibiram comunicação verbal mais elevada, enquanto aqueles com maior regulação comportamental demonstraram menos procrastinação nas entregas de tarefas.

Alterações na intenção pró-social
A intenção pró-social demonstrou crescimento significativo entre o momento inicial e o pós-teste. A pontuação média de intenção pró-social aumentou de 3,61 ± 0,53 no início para 3,84 ± 0,50 após o protocolo de 4 semanas (p < 0,001). Figura 6 ilustra a distribuição pareada e as associações ajustadas.

No modelo ajustado final, um índice maior de Engajamento em Sala de Aula Observado predisse um aumento maior na intenção pró-social pós-protocolo em relação à pontuação basal (β = 0,21, p < 0,05). Dentre as dimensões reflexivas, o significado social-pró-social exerceu o efeito independente mais substancial sobre a intenção pró-social pós-protocolo (β = 0,29, p < 0,001). Embora a participação verbal tenha apresentado uma correlação positiva não ajustada com os resultados pró-sociais pós-teste, essa associação perdeu significância estatística após o controle dos valores basais (p = 0,09). Por fim, a taxa de acesso noturno manteve-se não relacionada à intenção pró-social pós-protocolo (p = 0,27).

Restrições observadas na implementação e resultados nulos
O estudo implementado produziu diversos resultados subótimos, mas informativos, em vez de falhas que exigissem a interrupção do protocolo. Nenhuma sessão observada precisou ser excluída devido a um kappa do observador abaixo de 0,70, nenhum campo de análise de aprendizagem ficou indisponível após a exportação final e nenhum problema de visibilidade excedeu o limiar pré-especificado de ausência. As restrições observadas concentraram-se na conclusão das reflexões e em achados comportamentais nulos ou marginais: 18 reflexões foram enviadas com atraso, 17 reflexões esperadas estavam ausentes, a anotação de notas e o uso de dispositivos com foco na tarefa apresentaram apenas aumento marginal (p = 0,08), a busca de ajuda não mostrou efeito significativo ao longo do tempo (p = 0,21) e o acesso no período noturno não esteve associado à pontuação total nas reflexões nem à intenção pró-social pós-protocolo.

Esses achados foram mantidos porque descrevem a viabilidade de implementação e as condições limites do protocolo. Reflexões tardias ou ausentes foram relatadas nos resumos de fluxo de participantes e de completude dos dados; associações marginais ou nulas foram relatadas sem omissão seletiva; e os procedimentos de solução de problemas na seção Protocolo especificam como falhas hipotéticas, como deriva do observador, visibilidade obstruída ou campos LMS ausentes, devem ser tratadas em implementações futuras.

Arquivos de análise com identificação removida, o dicionário de dados, os scripts de análise, formulários de codificação em branco, os estímulos para reflexão, a rubrica de reflexão e o questionário de intenção pró-social foram depositados no Zenodo: https://zenodo.org/records/20607517. Os vídeos brutos identificáveis das aulas, nomes, IDs institucionais e textos de reflexão não editados não foram disponibilizados publicamente.

Figura 1: Fluxo do estudo e protocolo de integração de dados multissource. (A) Recrutamento dos participantes, coleta de consentimento e atribuição de identificação do estudo em dois cursos de graduação e seis turmas. (B) Ciclo de coleta de dados de 4 semanas: observação semanal em sala de aula, tarefa de escrita reflexiva e janela sincronizada de captura de analíticos de aprendizagem. (C) Três fluxos paralelos de dados: observação comportamental em sala de aula, pontuação de expressão reflexiva e registros anônimos da plataforma de aprendizagem. (D) Construção do conjunto de dados principal por participante e da base de dados no formato longo por semana, gerando os principais resultados da pesquisa: índice observado de engajamento em sala de aula, pontuação de reflexão e intenção pró-social. Clique aqui para visualizar uma versão maior desta figura.

Figura 2: Alterações semanais no comportamento observado em sala de aula durante o protocolo de 4 semanas. (A) Atenção à tarefa. (B) Participação verbal. (C) Colaboração entre colegas. (D) Anotações focadas na tarefa ou uso de dispositivos focado na tarefa. (E) Distração fora da tarefa. (F) Busca de ajuda. Os valores são escores proporcionais por aluno semanais derivados de observações em sala de aula baseadas em intervalos. Os pontos indicam as médias semanais e as barras de erro indicam os desvios padrão. Clique aqui para visualizar uma versão maior desta figura.

Figura 3: Alterações semanais na expressão reflexiva ao longo das quatro submissões reflexivas. (A) Especificidade descritiva. (B) Profundidade analítica. (C) Orientação autorregulatória. (D) Significado social-prosocial. (E) Pontuação total de reflexão. As pontuações de reflexão foram atribuídas por dois codificadores cegos utilizando a rubrica previamente especificada. Os pontos indicam as médias semanais e as barras de erro indicam os desvios padrão. Clique aqui para visualizar uma versão maior desta figura.

Figura 4: Distribuição dos indicadores de aprendizagem baseados em análise de dados durante o período de estudo de 4 semanas. (A) Dias ativos na plataforma de aprendizagem. (B) Visualizações de recursos. (C) Proporção de recursos atribuídos que foram abertos. (D) Respostas publicadas nas discussões. (E) Taxa média de conclusão de vídeos. (F) Pontualidade nas entregas de tarefas. (G) Proporção de acessos noturnos. Todos os valores foram calculados ao longo da mesma janela de 4 semanas utilizada para observação em sala de aula e escrita reflexiva. Os gráficos de violino mostram as distribuições no nível dos estudantes, e os gráficos de caixa indicam medianas e intervalos interquartís. Clique aqui para visualizar uma versão maior desta figura.

Figura 5: Associações entre o engajamento em sala de aula observado, a expressão reflexiva e indicadores selecionados de análise de aprendizagem. (A) Associação entre o Índice de Engajamento em Sala de Aula Observado e a pontuação total da reflexão. (B) Associação entre respostas postadas em discussões e a pontuação total da reflexão. (C) Associação entre pontualidade nas tarefas e a pontuação total da reflexão. (D) Associação entre participação verbal e pontuação total da reflexão. As linhas de tendência representam associações lineares ajustadas; as faixas sombreadas indicam intervalos de confiança de 95%. Clique aqui para visualizar uma versão maior desta figura.

Figura 6: Alteração na intenção pró-social e suas associações com o engajamento em sala de aula e o significado reflexivo. (A) Distribuição pareada dos escores de intenção pró-social no momento basal e após o protocolo. As linhas conectam os escores pareados pré e pós de cada aluno. (B) Associação entre o Índice de Engajamento em Sala de Aula Observado e a intenção pró-social após o protocolo, ajustado para o escore basal. (C) Associação entre o significado social-pró-social e a intenção pró-social após o protocolo. (D) Associação entre a participação verbal e a intenção pró-social após o protocolo. As faixas sombreadas nos painéis B-D indicam os intervalos de confiança de 95%. Clique aqui para visualizar uma versão maior desta figura.

Tabela 1: Indicadores de observação em sala de aula no nível do aluno e regras de codificação. A tabela detalha as definições operacionais e os critérios de codificação para atenção na tarefa, participação verbal, colaboração entre colegas, anotações focadas na tarefa ou uso de dispositivos, distração fora da tarefa e busca de ajuda. A janela de codificação de 70 min, o ciclo de varredura de 20 s e registro de 10 s, o procedimento de varredura em grupo, a regra de visibilidade ausente e a fórmula OCEI são descritos na seção Protocolo. Clique aqui para baixar esta tabela.

Tabela 2: Estrutura de pontuação para expressão reflexiva, exemplos por nível de pontuação e definições operacionais das variáveis de análise de aprendizagem. A tabela descreve a rubrica de pontuação para textos reflexivos, incluindo exemplos das pontuações 0, 1, 2 e 3 para cada dimensão reflexiva, bem como as definições operacionais para as variáveis de análise de aprendizagem extraídas. Os componentes reflexivos incluem especificidade descritiva, profundidade analítica, orientação autorregulatória, significado social-prosocial, pontuação geral de reflexão, contagem de palavras e status de envio. A análise de aprendizagem compreende dias ativos, visualizações de recursos, proporção de recursos atribuídos abertos, respostas postadas em discussões, taxa média de conclusão de vídeos, pontualidade nas tarefas e proporção de acesso em horário noturno. Clique aqui para baixar esta tabela.

Tabela 3: Características dos participantes, fluxo de inclusão e integridade dos dados. A tabela resume a elegibilidade dos participantes, as taxas de consentimento, critérios de exclusão, tamanho final da amostra e integridade dos dados nas três fontes de dados. Relata as características demográficas basais juntamente com as entradas reflexivas esperadas, submissões no prazo, submissões tardias, reflexões ausentes e extrações bem-sucedidas de análises de aprendizagem. Os valores são apresentados como n (%) salvo indicação em contrário. O arredondamento pode fazer com que os percentuais não somem exatamente 100%. Conforme o protocolo, reflexões tardias são arquivadas, mas excluídas das análises específicas por semana. A extração completa de análises de aprendizagem denota a recuperação bem-sucedida de registros do período do estudo após a remoção de contas de instrutores, entradas duplicadas e eventos fora do período. Clique aqui para baixar esta tabela.

Tabela 4: Estatísticas descritivas e escores de confiabilidade dos principais variáveis do estudo. A tabela apresenta valores médios específicos por semana, desvios padrão e índices de confiabilidade para comportamento em sala de aula observado, expressão reflexiva, análises de aprendizagem e intenção pró-social. A confiabilidade dos dados de observação em sala de aula é avaliada utilizando o kappa de Cohen. A confiabilidade da pontuação da reflexão é apresentada como coeficientes de correlação intraclasse (ICCs) para textos pontuados duplamente. A consistência interna da medida de intenção pró-social é relatada utilizando o alfa de Cronbach (α). As variáveis de análise de aprendizagem são calculadas ao longo do mesmo período de 4 semanas utilizado para observações e reflexões. Clique aqui para baixar esta tabela.

Tabela 5: Associações multivariáveis entre engajamento observado em sala de aula, expressão reflexiva, análises de aprendizagem e intenção pró-social. A tabela detalha os modelos inferenciais utilizados nas análises principais. Apresenta preditores multivariáveis da pontuação total da reflexão, preditores ajustados da intenção pró-social pós-protocolo (controlando pelos níveis basais) e associações não ajustadas selecionadas. Os valores β representam coeficientes de regressão não padronizados. Todos os modelos multivariáveis são ajustados por turma. Erros-padrão (EP), intervalos de confiança de 95% (IC) e valores de p são fornecidos para todas as estimativas. Clique aqui para baixar esta tabela.

Discussão

Este estudo propõe um protocolo prático que integra observação comportamental, escrita reflexiva e análise de dados de aprendizagem para investigar de forma abrangente a participação, a autoexpressão e a consciência pró-social de estudantes universitários dentro de uma única janela instrucional. Ao capturar diferentes dimensões do engajamento, essa abordagem tri-modal responde a críticas recentes na pesquisa do ensino superior, que argumentam que métricas de tempo de uso e monitoramento baseado em sensores são insuficientes quando avaliados isoladamente¹. Ao longo do protocolo de 4 semanas, o engajamento visível em sala de aula melhorou significativamente. Especificamente, a participação verbal e a colaboração entre colegas aumentaram juntamente com a atenção na tarefa, enquanto a busca de ajuda e a anotação focada na tarefa apresentaram mudanças mínimas. Essas alterações comportamentais indicam que, à medida que os estudantes se adaptam ao ambiente instrucional, seu engajamento evolui para uma participação mais estratégica, socialmente interativa e orientada à contribuição¹⁶.

Sob uma perspectiva centrada no método, o valor do protocolo depende da implementação disciplinada e não da observação de resultados uniformemente positivos. O fluxo de trabalho revisado enfatiza, portanto, uma fórmula OCEI pré-especificada, observação independente, processamento de software documentado, exemplos de rubricas, limiares de confiabilidade e regras explícitas para dados ausentes. Essas adições têm como objetivo tornar o protocolo reproduzível em ambientes de sala de aula comuns, onde os registros da plataforma, a frequência dos alunos, a visibilidade da câmera e a qualidade das reflexões são imperfeitos.

O protocolo também deve ser interpretado como sensível ao formato. Em cursos com grandes turmas, os observadores podem precisar de grupos menores e rotativos e de um período de calibração mais longo; em aulas online, a observação do comportamento pode basear-se em registros de interação e participação visível, em vez de varredura da sala; em laboratórios, comportamentos relacionados à segurança podem exigir um indicador adicional; e em salas de aula culturalmente diversas, os estímulos para reflexão e os itens relacionados à intenção pró-social devem ser revisados quanto à clareza linguística e adequação cultural antes do uso.

A escrita reflexiva fornece uma camada secundária de percepção sobre esses padrões comportamentais. Os escores totais de reflexão demonstraram uma tendência ascendente constante ao longo do protocolo, com as melhorias mais acentuadas ocorrendo na profundidade analítica e no significado social-prosocial. Em vez de meramente relatar eventos em sala de aula, os estudantes demonstraram uma capacidade crescente de analisar situações instrucionais a partir de uma perspectiva mais ampla e socialmente consciente. Isso está alinhado com descobertas recentes de que tarefas reflexivas repetidas e estruturadas promovem a construção de significados de ordem superior e discursos baseados no conhecimento, mesmo quando o volume de texto em nível superficial permanece relativamente constante⁹. Consequentemente, a escrita reflexiva no ensino superior deve ser entendida como um constructo multidimensional, no qual habilidades relacionadas à interpretação, transferência e projeção de automonitoramento se desenvolvem em ritmos diferentes ao longo do tempo⁵.

A integração de análises de aprendizagem justifica ainda mais a necessidade de um protocolo com múltiplas fontes. Ações concretas, como respostas em discussões e pontualidade nas entregas de tarefas, revelaram-se indicadores muito mais informativos de engajamento do que o volume bruto de atividades. Por outro lado, o acesso à plataforma durante a madrugada não apresentou nenhuma associação significativa com a qualidade da reflexão ou com a intenção pró-social. Esses achados corroboram pesquisas anteriores que alertam contra a excessiva dependência de métricas simples de frequência ou de logins para avaliar a participação dos estudantes⁴. Nossos resultados indicam que estudantes que interagem de forma construtiva com os materiais do curso desenvolvem uma capacidade reflexiva mais acentuada; no entanto, a atividade básica na plataforma não reflete perfeitamente o engajamento observável em sala de aula. A sobreposição moderada — e não a redundância excessiva — entre observação, reflexão e análises valida, portanto, o uso de estratégias de mensuração compostas em vez de inferências independentes baseadas em uma única fonte¹⁷.

Uma contribuição secundária desta pesquisa é a ampliação dos resultados avaliados para além das métricas padrão de participação. A intenção pró-social apresentou um aumento mensurável do pré-teste ao pós-teste, demonstrando as associações mais fortes entre estudantes que articularam temas sociais e pró-sociais em suas reflexões e mantiveram um perfil de interação extenso. Isso está de acordo com a pesquisa atual no ensino superior, que postula que características cooperativas e orientadas à contribuição são integrantes das interações em sala de aula, e não meros efeitos colaterais⁸. Além disso, esses resultados apoiam a conceituação das salas de aula como sistemas sociais complexos. Quando os estudantes avaliam ativamente suas contribuições relativas para a comunidade de aprendizagem, seu comportamento tende a mudar de uma simples conformidade para um engajamento construtivo e pró-social¹⁸.

Essas conclusões oferecem insights acionáveis para o design pedagógico. O protocolo proposto não exige sensores especializados nem sistemas de monitoramento invasivos. Ao basear-se exclusivamente na observação por intervalos, reflexões estruturadas semanais e dados padrão da plataforma do curso, essa combinação fornece uma solução altamente viável para ambientes de ensino de graduação que exigem evidências formativas e transparentes de engajamento, mas carecem de infraestrutura tecnológica avançada. Estruturas pedagógicas recentes que enfatizam comunidades de aprendizagem e ensino orientado à criação de valor sugerem que reposicionar os estudantes como co-criadores ativos, em vez de consumidores passivos, infunde maior significado à participação no ensino superior¹⁹. Nossa descoberta empírica de que indicadores relacionados à contribuição se agrupam fortemente com a qualidade da reflexão e a intenção pró-social—muito mais do que o simples tráfego na plataforma—apoia fortemente essa mudança pedagógica.

Várias limitações devem ser reconhecidas. Primeiro, como o protocolo é projetado para um número limitado de turmas, sua transferibilidade para ambientes baseados em laboratório, com predominância de aulas expositivas, totalmente assíncronos online ou culturalmente diversos exige adaptação planejada e nova verificação de confiabilidade. Segundo, a intenção pró-social é medida por autorrelato e deve ser interpretada como uma intenção relatada, e não como uma verdade comportamental direta. Terceiro, as análises de aprendizagem capturam atividades mediadas pela plataforma e podem não registrar a preparação offline, o apoio informal entre colegas e o estudo com assistência de IA que não é divulgado. Quarto, a janela de observação de 4 semanas pode identificar padrões de implementação de curto prazo, mas pode não captar trajetórias de desenvolvimento mais longas. Por fim, os valores representativos de 4 semanas devem ser interpretados como evidência de implementação específica ao contexto, e não como estimativas causais generalizáveis²⁰.

Pesquisas futuras devem ampliar este arcabouço em várias direções. Replicar o protocolo em diversas disciplinas acadêmicas e modalidades instrucionais é um próximo passo essencial. Além disso, acompanhamentos longitudinais são necessários para determinar se essas práticas reflexivas de curto prazo geram atitudes pró-sociais duradouras ou benefícios comportamentais sustentados. Estudos subsequentes também poderiam comparar este arcabouço observacional com metodologias alternativas, como avaliação por pares, análise de artefatos em nível grupal ou análise de sequência de eventos. Não obstante, na sua forma atual, este protocolo fornece um mecanismo operacional robusto para triangulação do que os alunos fazem em sala de aula, como interpretam essas ações posteriormente e como se posicionam socialmente no ambiente de aprendizagem mais amplo.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Folha de codificação para observação em sala de aula	Desenvolvido internamente	Seis indicadores comportamentais binários	Codificação baseada em intervalos de atenção na tarefa, participação verbal, colaboração entre colegas, anotações ou uso de dispositivos voltados para a tarefa, distração fora da tarefa e busca de ajuda.
GraphPad Prism	Graphpad	Versão 10.2.3	Geração de diagramas de fluxo de trabalho, gráficos de tendências semanais, gráficos de distribuição e figuras de associação.
Sistema institucional de gestão de aprendizagem / plataforma do curso	Universidade anfitriã	Sistema de contas existente do LMS institucional	Coleta de analíticos de aprendizagem com identificação removida.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Geração de diagramas de fluxo de trabalho, gráficos de tendências semanais, gráficos de distribuição e figuras de associação.
R	Fundação R		ggplot2 3.5.1
Software de planilha eletrônica	Microsoft Corporation	Microsoft Excel 365 v2402	Entrada de dados, limpeza, verificações de desidentificação e combinação de conjuntos de dados de observação/reflexão/analíticos.
SPSS Statistics	IBM Corp	Versão 26.0	Software de análise estatística; estatísticas descritivas, comparações com medidas repetidas, kappa de Cohen, ICC, alfa de Cronbach, correlações e modelos de regressão.