智慧教室

课堂专注度及考试作弊系统、课堂动态点名,情绪识别、表情识别和人脸识别结合

推荐使用下方的扩展项目,我们提供了完整的部署流程和权重链接。

  • [PyQt Demo(推荐)]
  • [Java 版本]
  • [前后端系统(推荐)]

课堂专注度分析

课堂专注度+表情识别

在这里插入图片描述

作弊检测

关键点计算方法

转头(probe)+低头(peep)+传递物品(passing)

在这里插入图片描述

侧面的传递物品识别

在这里插入图片描述

逻辑回归关键点

在这里插入图片描述

下载权重

1. [Halpe dataset] (136 keypoints)

Model Backbone Detector Input Size AP Speed Download Config Training Log
[Fast Pose] ResNet50 YOLOv3 256x192 69.0 3.54 iter/s [Google][Baidu] [cfg] [log]
  • 放到detection_system/checkpoints

2. Human-ReID based tracking (Recommended)

Currently the best performance tracking model. Paper coming soon.

Getting started

Download [human reid model] and place it into AlphaPose/trackers/weights/.

Then simply run alphapose with additional flag --pose_track

You can try different person reid model by modifing cfg.arch and cfg.loadmodel in ./trackers/tracker_cfg.py.

If you want to train your own reid model, please refer to this [project]

3. Yolo Detector

Download the object detection model manually: yolov3-spp.weights([Google Drive]| [Baidu pan]). Place it into detector/yolo/data.

4. face boxes 预训练权重

[google drive]

  • 放到face_recog/weights文件夹下

5. 其他

百度云 提取码:rwtl

人脸识别:dlib_face_recognition_resnet_model_v1.dat

  • detection_system/face_recog/weights

人脸对齐:shape_predictor_68_face_landmarks.dat

  • detection_system/face_recog/weights

作弊动作分类器:cheating_detector_rfc_kp.pkl

  • detection_system/weights

使用

运行setup.py安装必要内容

python setup.py build develop

[windows上安装scipy1.1.0可能会遇到的问题]

运行demo_inference.py

将detection_system设置为source root

在这里插入图片描述

使用摄像头运行程序

python demo_inference.py --vis --webcam 0

参考项目

  • [人体姿态估计 AlphaPose]
  • [头部姿态估计 head-pose-estimation]
  • [人脸检测 faceboxes]
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐