SocialTrack AI 多动物交互行为分析软件

一、开发背景

      当我们首次在网络上接触到国外先进算法IDtracker，以及在《最强大脑》电视栏目中看到北京大学Dr.魏使用的开源工具DeepLabCut，我们无比兴奋，因为这些跟踪技术将为运动科学以及实验室里的动物行为跟踪带来变革，开启了对动作捕捉进行计算机建模的新时代。同时，基于被动及主动标记的技术更是让快速精准的动物运动和交互行为跟踪成为了可能。

      然而，惊喜之余，我们也发现了这2款工具的一些缺陷，一是效率低下，电脑资源消耗很严重，不能实时分析，二则这2个工具不能同时呈现，三则因为这2个工具开源的属性，不可避免的存在诸多隐藏的bug及准确率无法有效保证。基于以上这些现象，并综合我们多年积累的图像AI算法经验，SocialTrackAI多动物交互行为分析软件应运而生，同时软件着力重点解决了以上“痛点”。

二、产品介绍

       SocialTrackAI是我们使用人工智能AI算法的第一款软件，可以定量和定性地测量单个场地中多只动物的攻击行为与社交行为。该软件在开放场中捕获并跟踪这些动物(小鼠或大鼠)，并自动确定它们之间的各种攻击行为或社交互动行为。

      该系统可以自动确定是否有任何两只动物正在积极地接近对方，一只正在追逐另一只，或者与另一只在打架(攻击)。另外，当动物之间没有直接互动时，SocialTrackAI可以将动物视为不动，或独立探索而不考虑其他动物。它还可以测量一只动物正在观看或跟踪另一只动物的动作的凝视事件。

       SocialTrackAI在分析两只动物之间的攻击性社会行为方面具有几个独特而重要的功能。首先，当多只动物在颜色与个体大小没有明显差异的情况下，通过我们强大的AI功能即可实时准确区分动物的ID编号，知道他们谁是谁，系统就可以区分两种动物而无需人工着色(标记)它们。即使两只动物聚在一起然后分开，系统也会自动确定谁是谁。该系统即使在多动物接触时也可以自动区分两只动物，这是一个极其重要的功能。

      SocialTrackAI不仅在实时区分动物ID号上的表现卓越非凡，它在标记识别每只动物的关键体位点上的表现同样惊人，可以同时且实时跟踪多只老鼠的鼻尖、眼睛(耳朵)、轮廓重心、后肢(四肢)及尾巴等，即使多只老鼠交互在一起的时候，也能尽可能的保持完整性。

三、应用

•攻击性(Aggression)

•社交凝视/焦虑(SocialStaring/Anxiety)

•居民入侵者分析(ResidentIntruderAnalysis)

四、技术特点

能够在同一场景下区分2只或者2只以上动物的身份编号，4只及以上需单独训练模型；

可以自动识别动物骨骼关键点，包括但不限于鼻尖、眼睛(耳朵)、轮廓重心、后肢(四肢)及尾巴；

软件支持实时分析和离线分析2种模式；

第三方信号触发功能，可与光遗传、钙成像等实验同步记录；

全自动识别、分析功能，实验过程不需用户介入；

支持时间分段数据输出；

同一场景下的多只动物无需染色标记、个体大小无差异，都能够实时跟踪；

强大的排除干扰功能，对变化光照和非均匀光照自适应，支持自适应实验场景的动物模型训练，可应用于多场景；

提供已分析实验的双击复验、数据可视化及智能纠错的功能，方面后期实验校准；

批处理模式允许无需用户介入连续处理多个视频；

可免费训练个性化、定制化实验场景的动物模型；

五、测试指标

常规指标：每只老鼠的运动路程、平均速度、静止时间等指标

特色指标：反应老鼠之间的攻击行为和社交行为：BodySniffing、HeadSniffing、AnogenitalSniffing、Above(Crawling)、Following、Attack、WalkAlone、StandAlone、StandTogether等