-
Notifications
You must be signed in to change notification settings - Fork 3
Frente de Pesquisa
Título: Estudo sobre a experiência dos alunos participantes do projeto MinC
Autores: Leonardo Leite, Melissa Wen, Paulo Meirelles
Os gráficos gerados pelo próprio Google Forms com base nas respostas do formulário já fornece uma análise quantitativa inicial razoável. Dessa forma, nos focamos mais na análise qualitativa das respostas de cada pergunta.
Análise quantitativa (extraída do Google Forms)
Ver anexos analise_quantitativa_MinC_122017.pdf e praticas-devops_MinC_122017.pdf.
Resumo da análise qualitativa
A equipe de alunos respondentes parece ser relativamente experiente para alunos de graduação, valorizar auto-organização e estar contente com os colegas e com o cliente. Sinais positivos de um time de sucesso!
Pergunta: ...
Análise: ...
Resposta do LAPPIS: ...
Pergunta: Gênero
Análise: Apenas 2 meninas de um total de 11 participantes. Seria interessante saber a porcentagem de meninas dentro do curso de Engenharia de Software para que esse número tivesse maior significado.
Resposta do LAPPIS: ...
Pergunta: "Idade" + "Em que semestre você entrou no curso de Engenharia de Software da FGA?"
Análise: 10 dos 11 alunos já estarão ou terão passado do 5º ano em 2018. 3 deles estarão 7º ano. Em geral, os anos a mais no curso, além dos 5 previstos, se deve a participação dos alunos no programa Ciência sem Fronteiras. Dessa forma, a maior idade e experiência internacional apontam para uma equipe madura.
Resposta do LAPPIS: ...
Pergunta: Em qual(is) equipe(s) você trabalha?
Análise: Não há equipe de Design/UX. Provavelmente isso não será um problema, já que o time conta com dois sêniores com experiência em UX.
Se observa um grande peso dado à questão DevOps na formação das equipes.
Resposta do LAPPIS: ...
Pergunta: Você é líder de algum equipe?
Análise: Duas pessoas. Gostaríamos de saber mais sobre a divisão entre times.
Resposta do LAPPIS: Divisão atual dos times está na wiki
Pergunta: Você gostaria ser líder?
Análise: Dos que não são líderes, apenas uma pessoa gostaria de ser. Hipótese: principalmente em times pequenos, esse padrão pode indicar a crença do time de que a importância do líder é relativamente pequena em relação à responsabilidade da equipe como um todo.
Isso dialoga com a questão "Você acredita que a presença do líder (coach da equipe) é essencial para o bom funcionamento da Sprint?", na qual apenas uma pessoa acredita que a presença do líder é "muito essencial" ao bom funcionamento da sprint.
Resposta do LAPPIS: Não havia o papel de lider claro nos times. Esse papel foi atribuido no inicio da segunda etapa do projeto.
Pergunta: Na sua opinião, quais das atividades agregam maior valor durante a Sprint?
Análise: Para analisar essa resposta, considerar que os itens estavam competindo entre si. Relativamente poucos veem mais valor na review da sprint. Será que seriam os mais experientes que já passaram por experiências traumáticas? Ou os iniciantes que ainda não passaram por experiências que mostram o valor da review?
Analisado os dados, parece que os mais experientes valorizam menos a revisão da sprint. Mas essa correlação não é total. Considerar também que são apenas 11 participantes.
A importância de revisão de código é relativamente baixa. Talvez o time defenda alternativas como o pareamento.
Resposta do LAPPIS: Ainda não tínhamos rodado nenhuma review no time, então creio que seja por que não tiveram nenhuma experiência.
Nesta parte do projeto não houveram muitas oportunidades de revisão de código, talvez por isso não valorizem tanto.
Pergunta: Você vê valor em pontuar as histórias?
Análise: Pontuação de histórias é bem rejeitado. Seria interessante uma verificação substantiva sobre a experiência dos alunos com essa prática, provavelmente ocorrida nas disciplinas da faculdade.
Contudo, nós ressaltamos que nós mesmos também temos ressalvas à pontuação de histórias. Seria essa uma prática caindo em desuso na comunidade?
Resposta do LAPPIS: Isso reflete o aprendizado do laboratório sobre pontuação nos últimos projetos, onde esta prática foi abandonada. Iremos rodar um novo time com pontuação para ser possível a comparação entre ter e não ter.
Joenio: Creio que pontuar é interessante do ponto de vista de pesquisa em engenharia de software, do ponto de vista prático acredito que não vale o esforço, o custo-benefício de pontuar histórias não vale. Encaminhamento: consultar a frente de pesquisa para saber se acham interessante rodar um experimento com uma equipe pontuando histórias.
Pergunta: Você acredita que retrospectivas podem gerar mudanças significativas entre sprints?
Análise: A melhoria da equipe por meio de retrôs parece dividir opiniões. Aparentemente os mais experientes tendem a crer menos no poder das retrospectivas (mas a correlação não é total). Será que passaram por experiências nas quais a retrô era só "uma burocracia"? Parece também merecer uma verificação substantiva.
Resposta do LAPPIS: Assim como a pontuação, esta não é uma prática comum no laboratório. E até então não houve uma no projeto.
Pergunta: Você acredita que a presença do líder (coach da equipe) é essencial para o bom funcionamento da Sprint?
Análise: Apenas um respondente acha "muito essencial". Interessantemente esse um não é líder e é indiferente quanto a "querer ser líder?".
Cabe a ressalva de que a palavra utilizada – "essencial" – é uma palavra forte. Talvez a equipe acredite na importância da autonomia da equipe, e assim não possa considerar um líder como "muito essencial". O que não quer dizer necessariamente que a equipe não acredite que o líder não tenha alguma importância. Isso poderia então levantar uma nova questão mais radical: "Você considera o líder necessário para o bom funcionamento da Sprint?".
Resposta do LAPPIS: ...
Pergunta: Trabalhar em grupo é importante para o desenvolvimento de suas atividades no projeto?
Análise: 9 respondentes disseram "muito" e 2 "moderadamente". Não parece haver correlação com perfil (idade, experiência ou gênero).
Resposta do LAPPIS: ...
Pergunta: Trabalhar com os professores e desenvolvedores seniores influencia no desenvolvimento de suas atividades no projeto?
Análise: Todos responderam "muito" (8) ou "moderadamente" (3), o que pode ser considerado um "sim". Então, embora dentro da equipe se considere que um líder não é tão necessário, as influências externas parecem contar. Ou seja, mais do que uma valorização da autonomia, a descrença na essencialidade do líder talvez indique que os alunos se enxergam efetivamente como pares.
Resposta do LAPPIS: ...
Pergunta: Parear com outros alunos contribui para o seu aprendizado?
Análise: 9 disseram que "muito". Talvez essa valorização do pareamento é que coloca em segundo plano a importância da revisão de código. Por outro lado, pode ser apenas uma questão de falta da experiência com a revisão de código entre os alunos.
Resposta do LAPPIS: ...
Pergunta: Parear com professores e desenvolvedores seniores contribui para o seu aprendizado?
Análise: Contribui, mas 2 alunos nuncas tiveram essa experiência. Como o projeto ainda está começando, é um resultado razoável.
Resposta do LAPPIS: ...
Pergunta: Interagir com um cliente real (equipe do MinC) está sendo importante para você?
Análise: Mesmo estando no início do projeto, metade dos alunos (6) dizem que "muito". Apenas 1 aluno disse que ainda não interagiu com o cliente. Nesse estágio do projeto, me parece um bom sinal de que o cliente está disposto a colaborar.
Resposta do LAPPIS: ...
Pergunta: A perspectiva de lançar continuamente novas versões de um produto de software em produção é motivador para você?
Análise: 9 dizem que "muito e 2 "moderadamente". Não há correlação total, mas esses 2 do "moderadamente" são mais novos em idade do que a média.
Resposta do LAPPIS: ...
Pergunta: A participação do cliente real (equipe do MinC) nas reuniões de planejamento e de encerramento de Sprints está sendo importante para o desenvolvimento do projeto?
Análise: 6 "muito" e 3 "moderadamente". Interessante seria investigar substantivamente a opinião dos 2 que "não sabem / não querem opinar".
Resposta do LAPPIS: INVESTIGAR: acho que é porque não tiveram oportunidade
Pergunta: O que você acha de escrever os requisitos junto com o cliente (funcionários do MinC)?
Análise: De forma geral positivo, sendo que só 2 não tiveram essa experiência.
Resposta do LAPPIS: ...
Pergunta: Você tem vontade de participar de reuniões estratégicas do projeto com o MinC?
Análise: Esperaríamos uma aceitação de 100% aqui, mas apenas 7 desejam ter essa experiência. 3 ainda estão na dúvida e 1 explicitamente disse "não". Talvez a inexperiência dificulte aos alunos entender o valor na participação dessas reuniões. Uma verificação desse sentimento seria interessante.
Resposta do LAPPIS: Muitos julgam as reuniões muito longas e desnecessárias, pois estamos tendo um volume de reuniões muito grande, o que tem tirado o foco do trabalho prático.
Pergunta: Em linhas gerais, como você descreve até aqui a interação entre a equipe da UnB e a equipe do MinC?
Análise: No geral, comentários positivos. Destaque para "A Equipe do MinC está bem presente e envolvida no projeto".
Resposta do LAPPIS: ...
Pergunta: Você teria algum outro comentário sobre as suas experiências dentro do projeto?
Análise: Uma pessoa relatou sobre a dificuldade de se fazer os requisitos quando "não há um produto/serviço específico que o cliente quer, e sim objetivos gerais a serem atendidos". Essa indagação é razoável, mas talvez caiba esclarecer aos alunos no que um projeto de pesquisa difere de projetos de software mais convencionais.
Resposta do LAPPIS: ...
Pergunta: Até aqui, você entende tecnicamente (ex.: a arquitetura geral, pipeline de entrega etc) a frente de trabalho que está envolvido?
Análise: Todos entendem mais que "pouco", o que é bom.
Resposta do LAPPIS: As frentes de trabalho até então estavam muito mutáveis, tendo um mesmo alunos lidando com vários softwares legados. Então era difícil fixar um conhecimento profundo sobre os mesmos.
Pergunta: Você sente-se confortável para resolver problemas técnicos do projeto?
Análise: 3 pessoas se sentem "pouco confortáveis". Não há correlação disso com o envolvimento ou não com o cliente. Todos os 3 disseram que entendem "moderadamente" da parte técnica com as quais estão envolvidas. Coerente. Mas há outros 4 que mesmo entendendo moderadamente, se sentem "confortáveis" para resolver os problemas técnicos. Nenhum dos líderes se sentem "pouco confortáveis", o que sinaliza uma boa escolha dos líderes.
Resposta do LAPPIS: ...
Pergunta: Você sente-se confortável em adicionar novas funcionalidades ou recursos no projeto?
Análise: Tem alunos que se sente mais a vontade para adicionar funcionalidades do que para resolver problemas técnicos; e tem alunos que se sente mais a vontade para resolver problemas técnicos do que para adicionar novas funcionalidades. Interessante e positiva essa variação de perfil.
Resposta do LAPPIS: ...
Pergunta: Você sente-se confortável em revisar contribuições técnicas (merge request, código etc) de outras pessoas da equipe?
Análise: 2 alunos se sentem pouco confortáveis. Mas aparentemente não há correlação com outras características dos alunos. Isso talvez se deva ao fato de que nesse projeto a produção de código-fonte é relativamente pequena.
Resposta do LAPPIS: ...
Pergunta: Você acha necessário para o projeto a presença de um time específico de DevOps?
Análise: Essa é uma questão polêmica na comunidade DevOps. Afinal, se DevOps é a colaboração entre dois times (devs e ops), pode parecer contraditório a existência de uma equipe DevOps. Talvez o time de DevOps seja, nesse caso, um "time de automação". Após a automação estar configurada, seria esse time dissolvido? No formulário temos meio a meio "muito importante" vs "importante". Ninguém achou pouco importante ou não opinou.
Resposta do LAPPIS: A ideia é dissolver e disseminar o conhecimento na equipe.
Joenio: caso a equipe seja dissolvida alerto para a necessidade de continuar existindo alguém responsável pelo “ops”, ou como se dizia antigamente “sysadmin”. Cuidar de infraestrutura é um trabalho que consome tempo e exige cuidado, corre-se o risco da infra se degradar ao longo do tempo quando não há uma equipe (mesmo que seja de apenas 1 pessoa), usualmente os/as “dev” por estarem lidando com responsabilidades de entrega ao cliente não conseguem ter tempo para cuidar da infraestrutura adequadamente.
Pergunta: Você teria algum outro comentário sobre o seu envolvimento técnico com o projeto?
Análise: Um aluno defende que todos devem ter conhecimento de DevOps, mesmo que alguns tenha mais que os outros. Essa é uma possível prática seguida nas organizações no contexto de times multi-funcionais.
Resposta do LAPPIS: ...
Pergunta: É confortável para você fazer um relato durante o stand-up?
Análise: Ninguém está desconfortável.
Resposta do LAPPIS: ...
Pergunta: É confortável para você parear com os demais alunos?
Análise: Ninguém está desconfortável. E é mais confortável que fazer o stand-up!
Resposta do LAPPIS: Cremos que seja pela afinidade / amizade entre os alunos dos times.
Pergunta: É confortável para você parear com os desenvolvedores seniores?
Análise: 2 nunca parearam com os seniores. É importante garantir que isso aconteça.
Resposta do LAPPIS: ...
Pergunta: É confortável para você tirar dúvidas com os desenvolvedores seniores remotamente?
Análise: 2 estão "poucos confortáveis". Aparentemente nenhuma correlação dos dados. Relevante investigar substantivamente os casos concretos.
Resposta do LAPPIS: ...
Pergunta: Você teria algum outro comentário sobre a comunicação dentro do projeto?
Análise: Time valoriza o compartilhamento de tempo-espaço entre os integrantes, já que em times distribuídos a dificuldade com a comunicação é maior.
Resposta do LAPPIS: ...
Pergunta: Você está contribuindo para algum software livre no contexto do projeto MinC?
Análise: 9 sim! Bom! 1 pessoa não sabe, interessante... talvez isso não esteja sendo ressaltado para os alunos
Resposta do LAPPIS: ...
Pergunta: Para quais projetos de software livre você contribui no contexto do projeto MinC?
Análise: Alguns projetos (ex Rocket Chat, Hubot) parecem ser bem sofisticados. Bem positivo.
Resposta do LAPPIS: ...
Pergunta: Essa é a primeira vez que você contribui com um software livre?
Análise: 9 não! Esse resultado se deve, em parte, à disciplina de manutenção e evolução de software.
Resposta do LAPPIS: Existem muitos membros que já eram do LAPPIS, e tiveram contato com software livre em outros projetos também.
Pergunta: Você contribui para os mesmos sistemas de software livre do projeto MinC fora do horário/contexto do projeto?
Análise: Apenas 2 disseram que sim. Mas se os alunos não têm horários fixos no projeto, cabe ressalvar que talvez fazer essa separação de “hora/contexto fora do projeto” talvez não seja tão simples.
Resposta do LAPPIS: ...
Pergunta: Sobre a sua interação com a comunidade (externa) de software livre dos projetos que fazem parte do contexto do MinC, quais meios de comunicação você utiliza com mais frequência?
Análise: Issues e merge request na frente.
Resposta do LAPPIS: ...
Pergunta: Você teve ajuda da(s) comunidade(s) do(s) projeto(s) de software livre para o(s) qual(is) você contribui no contexto do projeto MinC?
Análise: 3 ainda não pediram ajuda. Mas 4 tiveram "pouca" ajuda. Isso parece mostrar o clássico problema das comunidades de software livre não receberam os novatos da forma mais adequada.
Resposta do LAPPIS: ...
Pergunta: Você contribui fora do horário do projeto MinC para outros projetos de software livre (não relacionados com o MinC)?
Análise: 8 sim. Bastante! Em alguns casos, isso parece se dever a disciplinas da faculdade.
Resposta do LAPPIS: ...
Pergunta: Qual é a sua principal motivação para contribuir com um projeto de software livre?
Análise: Aprendizado técnico na frente. Embora no caso dos alunos a experiência esteja mais ligada às disciplinas, esse enfoque no aprendizado como motivação pode talvez ser usado pelas comunidades para ajudar a atrair contribuintes.
Resposta do LAPPIS: ...
Pergunta: Você acredita que contribuir para um projeto de software livre seja importante profissionalmente?
Análise: Nenhum "não"! Apenas 1 "indiferente". Aparente valorização do Software Livre.
Resposta do LAPPIS: Esta pergunta no contexto do LAPPIS não dá muita liberdade para a pessoa dar uma opinião sincera, já que há uma cultura forte de software livre no laboratório. Não estou certo se o resultado pode ser considerado, talvez explorar o tema com outras perguntas mais subjetivas.
Pergunta: Para você, de que maneira contribuir com software livre pode ajudar outras pessoas e/ou a sociedade?
Análise: No geral "compartilhando conhecimento". Nos chamou a atenção uma resposta: "Fornecendo serviços de forma gratuita para as pessoas". Embora não haja resposta errada, essa resposta mostra um certo descompasso com as ideias centrais do movimento Software Livre e mesmo do Código Aberto. Mas essa confusão é razoável considerando a pouca experiência dos alunos.
Resposta do LAPPIS: ...
Pergunta: Você teria outros comentários sobre seu envolvimento com software livre?
Análise: Nenhum comentário!
Resposta do LAPPIS: ...
Pergunta: Sobre práticas de DevOps
Análise: Equipe aparentemente experiente. Um dos líderes já usou todas as práticas mencionadas! O que mais uma vez reforça a aparente boa escolha das lideranças. A prática mais desconhecida é a automação de teste de infraestrutura, que de fato é algo mais raro nas organizações. Nos chamou a atenção o fato de que 3 respondentes não saberem o que é "teste de desempenho". Todos eles têm experiência com máquinas virtuais / contêineres! Todos sabem o que é entrega contínua. Ou seja, os conhecimentos DevOps parecem bem difundidos na equipe.
Resposta do LAPPIS: ...