哈希算法原理解析,如何利用哈希函数预测博彩走势用于图像检索的增量采样算法及其在概念漂移情况下的应用

2026-01-03

  哈希算法,SHA256,哈希函数,加密哈希,哈希预测/哈希算法是博彩游戏公平性的核心,本文详细解析 SHA256 哈希函数的运作原理,并提供如何通过哈希技术进行博彩预测的方法!

哈希算法原理解析,如何利用哈希函数预测博彩走势用于图像检索的增量采样哈希算法及其在概念漂移情况下的应用

  针对大规模图像检索中概念漂移问题,提出增量采样哈希方法(ISH),通过动态样本选择与知识蒸馏缓解灾难性遗忘,并设计三重损失函数平衡语义相似性与历史信息保留,实验表明其优于现有在线哈希方法。

  吴永义(Wing W.Y. Ng)王林飞(Linfei Wang)李启华(Qihua Li)田星(Xing Tian)

  在大规模图像检索中,由于深度哈希在存储和时间效率方面的优势,被广泛采用。然而,现实世界的数据环境通常是非静态的,类别的数量和分布可能会频繁变化,从而导致概念漂移问题。这会降低检索性能,而在现有的深度哈希方法中很少有对此进行探讨。为了解决这个问题,本文提出了增量采样哈希(Incremental Sampling Hashing, ISH)方法。ISH采用代表性采样策略来捕获具有代表性的样本,并利用知识蒸馏来学习新图像的哈希码。这种方法减轻了对先前知识的灾难性遗忘,并减少了概念漂移的影响。此外,还设计了一个损失函数来指导深度哈希神经网络的学习,以平衡语义相似性和历史信息的保留。在12个模拟的概念漂移场景中的实验表明,ISH能够有效处理非静态环境中的概念漂移,并且与现有的在线哈希方法相比,具有更高的检索准确性和适用性。

  随着互联网上图像数量的爆炸性增长,从大规模数据库中高效检索相关图像已成为一个关键的研究挑战。哈希方法因其高检索速度和存储效率而受到广泛研究[1]。哈希方法将图像从高维特征空间映射到低维的二进制汉明空间。每张图像都由紧凑的二进制哈希码表示,旨在将这些图像的语义内容编码到这些二进制码中,同时保持图像之间的相对相似性。对于给定的查询,通过计算查询图像和候选图像之间的汉明距离来评估它们的相似性。汉明距离量化了两个二进制字符串不同的位数,距离越小表示相似度越高。因此,返回汉明距离最小的图像作为最相关的检索结果。

  哈希方法的效率在于,一旦图像被映射到二进制码,就可以通过简单的位运算快速进行比较,从而实现快速检索。此外,由于哈希码的长度远短于原始图像特征向量,哈希显著减少了存储需求。

  已经提出了多种哈希方法。HMOH方法[2]指导二进制哈希码的学习并动态更新哈希函数。FCOH方法[3]以类别为单位分解二进制码并学习哈希函数。然而,现有方法通常是为静态数据环境设计的,而现实世界的数据环境通常是非静态的。随着新数据的连续出现,非静态数据环境中普遍存在概念漂移问题,主要包含两种情况:(1)新类别的出现,对应于标签空间的扩展;(2)现有类别的分布漂移。这两种变化情况都使得预学习的哈希函数的假设不再成立:汉明空间中的语义邻域变得不对齐,仅对新到达的数据进行增量拟合往往会覆盖先前的语义,导致灾难性遗忘[4]。此外,现有方法通常依赖于浅层图像特征进行训练,未能利用更具信息量的深层特征。实际上,深度哈希方法已经为静态数据环境进行了广泛研究,但在非静态数据环境中的应用却很少。

  为了解决上述问题,本文提出了增量采样哈希(ISH)方法。该方法利用深度神经网络的强大表示学习能力,同时提取特征并在不同时间步骤到达的数据块上训练模型。特征提取器在线更新,增强了其捕获区分性特征的能力。此外,最新的神经网络仅基于当前数据块和选定的样本进行训练。该网络的参数初始化为上一个时间步骤的参数。另外,还引入了一种快速计算方法来生成每个时间步骤的新哈希函数。深度神经网络通过最小化交叉熵损失函数来减少网络输出和目标二进制码之间的差异。同时,ISH通过成对相似性保持损失函数来保持样本之间的相似性。本文的主要贡献如下:

  ISH是第一个端到端的增量哈希框架,它通过集成代表性样本选择和知识蒸馏,明确解决了非静态数据环境中的概念漂移问题。在每个时间步骤,整合了三种损失函数:二元交叉熵损失、哈希码平衡损失和成对相似性保持损失,以训练深度哈希模型。因此,通过优化单个损失函数,整个深度神经网络系统得到更新,减少了多个模块之间可能的不匹配。

  ISH不仅支持深度哈希模型的在线更新,并以在线方式为每个类别选择代表性样本,而且还有效地保留了新旧数据的相似性信息,减轻了灾难性遗忘的问题。在ISH中,教师模型指导学生模型的训练,减少了旧知识的遗忘。因此,该方法基于新图像和代表性样本学习哈希函数,并利用知识蒸馏来应对由概念漂移引起的知识遗忘。

  为了验证所提出方法的有效性,我们基于三个广泛使用的数据集模拟了12个非静态数据场景。实验结果表明,ISH与其他在线哈希方法相比,具有显著更好的检索性能。此外,还进行了消融研究来说明ISH设计的有效性。

  在本文中,第2节回顾了当前的哈希方法。第3节详细描述了所提出的方法。第4节介绍并分析了实验结果。最后,第5节总结了这项工作。

  根据是否使用标签进行训练,现有的哈希方法可以分为无监督、有监督和半监督方法。无监督哈希方法仅利用图像的特征来学习哈希函数。ITQ方法[5]通过投影映射旋转数据以获得哈希码。随着深度学习的不断发展,深度哈希方法在图像检索任务中取得了有希望的性能

  首先,如图1所示,介绍了所提出方法的概述。整个系统分为两个阶段:训练阶段和查询阶段。两个阶段使用相同的哈希网络模型,该模型基于特征提取模型、额外的哈希层和分类层构建。在时间步骤

  我们的实验基本设置在4.1小节中介绍。4.2小节讨论和分析了所提出方法和其他比较方法在各种非静态数据场景下的实验结果。本文的消融研究和参数敏感性分析分别显示在4.3小节和4.4小节中。

  本文提出了增量采样哈希(ISH)方法,以解决非静态数据环境中的概念漂移问题,该方法在学习新信息的同时保留旧知识。在ISH中,采用端到端的哈希系统来适应新的数据环境。样本选择方法和知识蒸馏技术用于利用从旧数据中学到的信息来更新哈希系统,从而减轻了遗忘旧知识的问题。

  吴永义(Wing W. Y. Ng)和田星(Xing Tian)报告称,他们获得了中国国家自然科学基金会的财政支持。如果还有其他作者,他们声明没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

  本工作部分得到了中国国家自然科学基金(项目编号62202175、U24A20322和62476100)以及广东省基础与应用基础研究基金(项目编号2024A1515011896)的支持。

地址:广东省广州市天河区88号 客服热线:400-123-4567 传真:+86-123-4567 QQ:1234567890

Copyright © 2012-2025 哈希游戏推荐 版权所有 非商用版本