基于CLIP的野生动物及其制品分类_产业方案_图像分类

# 基于CLIP的野生动物及其制品分类 ## 1. 项目场景说明非法贩运野生动物及其制品是对全球野生动物资源的主要威胁之一，保护野生动物和生物多样性、惩治破坏野生动物资源犯罪是我国生态文明建设的重要内容。近年来，随着互联网电商和社交媒体的发展，一些非法卖家开始使用图片、短视频、直播平台等新形式发布非法信息，逃避监管，从事非法交易，严重威胁生态安全，也给平台合规治理、政府监管执法部门带来挑战。为此，依托百度飞桨人工智能技术，百度与IFAW合作开发的“濒危物种AI守护官”工具，以互联网科技赋能网络野生动物非法贸易的综合治理。该工具将有利于从以下方面促进人工智能在野生动物保护领域的应用： * 【模型研发】探索更加有效的野生犯罪高风险信息判别的模型训练方法，促进国际网络平台和开发者加强交流，加强AI技术应用于野生动物犯罪预防的国际合作； * 【平台应用】借助深度学习技术、多模态及大模型技术，实现对重点网站平台上图片等信息进行智能化识别与筛选，快速定位追溯可疑图片来源； * 【行业共享】以插件和应用形式将该工具在飞桨平台开放，供各类网络平台、企业、开发者参考该模型提升野生动物非法交易线索的识别，助力互联网平台优化合规治理； * 【执法支持】协助执法部门加强对网络违法犯罪活动的打击。 <img src="https://paddle-model-ecology.bj.bcebos.com/paddlex/task_infer_models/task_wildlife_classificaition_with_CLIP/media/IFAW_demo.png" width="600"> 上图列举了部分非法买卖的野生动物及其制品的图片。 ## 2.模型介绍当前的模型是基于 CLIP 的视觉塔预训练大模型微调野生动物相关的数据得到的模型。该模型可以对 9 种野生保护动物制品及 20 种陆龟活体进行分类。目前支持的分类种类分别是："熊", "犀牛", "玳瑁", "盔犀鸟", "穿山甲", "虎", "象", "赛加羚羊", "鲸", "亚达陆龟", "凹甲陆龟", "印度星龟", "印度陆龟", "四爪陆龟", "埃及陆龟", "安哥洛卡象龟", "欧洲陆龟", "红腿陆龟", "缅甸星龟", "缅甸陆龟", "翘缘陆龟", "苏卡达陆龟", "蛛网陆龟", "豹纹陆龟", "赫曼陆龟", "辐纹陆龟", "靴脚陆龟", "饼干陆龟", "黄腿陆龟", "非关注类"。其中，"非关注类"表示不是以上的类别，包括野生动物制品的仿制品。当前模型的存储大小为 328M，在 NVIDIA V100 的单张图片推理延迟为4.68ms，在以上提到的类别上的平均召回率为75.7%，平均精确率为81.1%。 ## 3. 模型部署本模型目前的部署支持情况如下： | 操作系统 | Windows | Windows | Windows | Windows | Linux | Linux | Linux | Linux | | -------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | -------- | | 部署硬件 | NV GPU | NV GPU | X86 CPU | X86 CPU | NV GPU | NV GPU | X86 CPU | X86 CPU | | 接口语言 | C++ | Python | C++ | Python | C++ | Python | C++ | Python | | 支持情况 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | 根据实际业务需求选择所需要的操作系统、部署硬件、接口语言等条件后，获取 FastDeploy 部署包，**完成之后到开发者模式下进行下载（文件右击选择下载即可）**，其中包括部署代码和预测模型。最后就可以参考部署包里面的 README 使用说明，在目标硬件上进行部署啦。 **注意：如果需要手动更新预测模型，可以直接修改部署包中的预测模型。** ## 4.机构介绍国际爱护动物基金会（International Fund for Animal Welfare，简称IFAW）成立于1969年，并与1994年开始在中国的项目，目前在全球15个国家设有办公室，在超过40个国家开展项目。以“人与动物共享生命之美”为愿景，IFAW在中国开展野生动物犯罪预防项目、北京猛禽救助中心项目、亚洲象及栖息地保护项目、野生动物保护青少年教育项目四个项目。积极倡导通过完善立法、加强执法、优化司法、公众宣传来实现减少对野生动物的非法猎捕及过渡的商业利用以保护野生种群数量；通过野生动物救助项目实际救助受伤、落巢或执法罚没的个体，帮助野生动物发挥生态功能；通过栖息地和社区发展项目，IFAW以科学技术助力国家公园和保护区生态廊道的建设，并促进当地社区的生计发展。