要在Caffe框架中进行视频分类任务，可以按照以下步骤进行：
数据准备：首先需要准备好视频数据集，包括训练集和测试集。每个视频需要被转换成一系列的图像帧，并且需要为每个视频标注对应的类别标签。
模型选择：选择适合视频分类任务的深度学习模型，比如3D卷积神经网络（3D Convolutional Neural Network）或者双流网络（Two-Stream Network）。
定义网络结构：根据选择的模型，定义相应的网络结构，包括卷积层、池化层、全连接层等。可以参考Caffe框架提供的模型结构或者根据自己的需求来设计网络结构。
数据预处理：对视频数据进行预处理，比如数据增强、归一化等操作，以提高模型的泛化能力。
训练模型：使用准备好的训练集和定义好的网络结构，在Caffe框架中进行模型训练。可以使用梯度下降等优化算法来调整模型参数，使模型能够更好地拟合训练集数据。
模型评估：使用测试集数据对训练好的模型进行评估，计算分类准确率等指标来评估模型的性能。
模型部署：将训练好的模型部署到实际应用中，对新的视频数据进行分类预测。
通过以上步骤，就可以在Caffe框架中完成视频分类任务。需要注意的是，视频分类任务相对于图像分类任务会更加复杂，需要更多的计算资源和时间来训练模型。