在Flickr上个性化图像搜索结果

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

摘要翻译：
社交媒体网站Flickr允许用户上传他们的照片，用标签注释它们，提交给小组，还可以通过添加其他用户作为联系人来形成社交网络。Flickr提供了多种浏览或搜索的方式。一个选项是标记搜索，它返回所有用特定关键字标记的图像。如果关键字不明确，例如“甲壳虫”可能意味着昆虫或汽车，标签搜索结果将包括许多与用户在执行查询时的感觉无关的图像。我们声称用户通过他们以联系人和图像注释的形式添加的元数据来表达他们的摄影兴趣。我们展示了如何利用此元数据为用户个性化搜索结果，从而提高搜索性能。首先，我们证明了通过用户的联系人或包含这些联系人的更大的社交网络过滤标签搜索结果可以显著提高搜索精度。其次，我们描述了一个概率模型，利用标签信息发现包含在搜索结果中的潜在主题。类似地，用户的兴趣可以通过他们用来注释图像的标签来描述。然后，通过在用户感兴趣的主题上查找图像，使用该模型发现的潜在主题来个性化搜索结果。
---
英文标题：
《Personalizing Image Search Results on Flickr》
---
作者：
Kristina Lerman, Anon Plangprasopchok and Chio Wong
---
最新提交年份：
2007
---
分类信息：

一级分类：Computer Science        计算机科学
二级分类：Information Retrieval        信息检索
分类描述：Covers indexing, dictionaries, retrieval, content and analysis. Roughly includes material in ACM Subject Classes H.3.0, H.3.1, H.3.2, H.3.3, and H.3.4.
涵盖索引，字典，检索，内容和分析。大致包括ACM主题课程H.3.0、H.3.1、H.3.2、H.3.3和H.3.4中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Artificial Intelligence        人工智能
分类描述：Covers all areas of AI except Vision, Robotics, Machine Learning, Multiagent Systems, and Computation and Language (Natural Language Processing), which have separate subject areas. In particular, includes Expert Systems, Theorem Proving (although this may overlap with Logic in Computer Science), Knowledge Representation, Planning, and Uncertainty in AI. Roughly includes material in ACM Subject Classes I.2.0, I.2.1, I.2.3, I.2.4, I.2.8, and I.2.11.
涵盖了人工智能的所有领域，除了视觉、机器人、机器学习、多智能体系统以及计算和语言（自然语言处理），这些领域有独立的学科领域。特别地，包括专家系统，定理证明（尽管这可能与计算机科学中的逻辑重叠），知识表示，规划，和人工智能中的不确定性。大致包括ACM学科类I.2.0、I.2.1、I.2.3、I.2.4、I.2.8和I.2.11中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Computers and Society        计算机与社会
分类描述：Covers impact of computers on society, computer ethics, information technology and public policy, legal aspects of computing, computers and education. Roughly includes material in ACM Subject Classes K.0, K.2, K.3, K.4, K.5, and K.7.
涵盖计算机对社会的影响、计算机伦理、信息技术和公共政策、计算机的法律方面、计算机和教育。大致包括ACM学科类K.0、K.2、K.3、K.4、K.5和K.7中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Digital Libraries        数字图书馆
分类描述：Covers all aspects of the digital library design and document and text creation. Note that there will be some overlap with Information Retrieval (which is a separate subject area). Roughly includes material in ACM Subject Classes H.3.5, H.3.6, H.3.7, I.7.
涵盖了数字图书馆设计和文献及文本创作的各个方面。注意，与信息检索（这是一个单独的主题领域）会有一些重叠。大致包括ACM课程H.3.5、H.3.6、H.3.7、I.7中的材料。
--
一级分类：Computer Science        计算机科学
二级分类：Human-Computer Interaction        人机交互
分类描述：Covers human factors, user interfaces, and collaborative computing. Roughly includes material in ACM Subject Classes H.1.2 and all of H.5, except for H.5.1, which is more likely to have Multimedia as the primary subject area.
包括人为因素、用户界面和协作计算。大致包括ACM学科课程H.1.2和所有H.5中的材料，除了H.5.1，它更有可能以多媒体作为主要学科领域。
--

---
英文摘要：
  The social media site Flickr allows users to upload their photos, annotate them with tags, submit them to groups, and also to form social networks by adding other users as contacts. Flickr offers multiple ways of browsing or searching it. One option is tag search, which returns all images tagged with a specific keyword. If the keyword is ambiguous, e.g., ``beetle\'\' could mean an insect or a car, tag search results will include many images that are not relevant to the sense the user had in mind when executing the query. We claim that users express their photography interests through the metadata they add in the form of contacts and image annotations. We show how to exploit this metadata to personalize search results for the user, thereby improving search performance. First, we show that we can significantly improve search precision by filtering tag search results by user\'s contacts or a larger social network that includes those contact\'s contacts. Secondly, we describe a probabilistic model that takes advantage of tag information to discover latent topics contained in the search results. The users\' interests can similarly be described by the tags they used for annotating their images. The latent topics found by the model are then used to personalize search results by finding images on topics that are of interest to the user.
---
PDF下载：
--> English_Paper.pdf (251.71 KB)

2022-4-14 16:04:49 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：搜索结果 个性化 Intelligence Presentation social media

在FlickrKristina Lerman、Anon Plangprasopchok和Chio Wong University of South California Information Sciences Institute4676 Martialty WayMarina del Rey,California 90292{Lerman,plangpra,chiowong}@isi.eduabstract社交媒体网站Flickr允许用户上传他们的照片，用标签注释它们，提交给组，还可以通过添加其他用户作为联系人来形成社交网络。Flickr提供多种浏览或搜索方式。其中一个选项是标记搜索，它返回所有用Aspeciforcc关键字标记的图像。如果关键字不明确，例如，“甲壳虫”可能意味着一只昆虫或一辆汽车，标签搜索结果将包括与用户在执行查询时的感觉无关的任何图像。我们声称用户通过他们以联系人和图像注释的形式添加的元数据来表达他们的摄影兴趣。我们展示了如何利用此元数据为用户个性化搜索结果，从而提高搜索性能。首先，我们展示了通过用户的联系人或包括这些联系人的联系人的更大的社交网络来搜索标签搜索结果，我们可以显著地提高搜索精度。其次，描述了利用标签信息发现搜索结果中潜在主题的概率模型。用户的兴趣可以通过他们用来注释图像的标签来描述。然后，该模型发现的潜在主题被用来通过在用户感兴趣的主题上搜索图像来个性化搜索结果。简介光共享网站Flickr是新一代网站中最早和更受欢迎的例子之一，标签为社交媒体，其内容主要由用户驱动。社交媒体的其他例子包括：博客（允许用户分享想法并接收反馈的个人在线期刊）、维基百科（一个集体编写和编辑的在线百科全书）、del.icio.us和digg（允许用户分别分享、讨论和排名网页和新闻故事的网站）。社交媒体的兴起凸显了网络的一场变革，这场变革与其诞生一样具有根本性。用户不是简单地搜索和被动地消费信息，而是协作地创建、评估和分发信息。在不久的将来，由社交媒体支持的新的信息处理应用程序将包括个性化信息发现工具、利用“群体智慧”的应用程序（例如紧急语义和协作Incopyrightc 2018,美国艺术情报协会（www.aaai.org）。保留所有权利。编队评估）、对社区结构的更深入分析以识别趋势和专家，以及许多其他仍然依赖于想象的应用程序。社交媒体网站共有四个特征：（1）用户在各种媒体类型中创建或贡献内容；（2）用户用标签注释内容；（3）用户通过积极投票或被动使用内容来评价内容；（4）用户通过指定其他兴趣相似的用户作为联系人或朋友来创建社交网络。在使用这些网站的过程中，用户以社交网络、注释和评级的形式添加了丰富的元数据。这些元数据的大量存在将导致新的算法的发展，以解决各种信息处理问题，从新的推荐到改进的信息发现算法。本文介绍了如何使用Flickrcan上的用户添加的元数据来改善图像搜索结果。我们声称，用户在Flickr上以多种方式表达他们的摄影兴趣，通过将他们欣赏的作品添加到他们的社交网络中，并通过他们用来注释自己图像的标签来表达他们的摄影兴趣。我们将展示如何利用这些信息对个人用户个性化搜索结果。

首先，我们描述了标记以及为什么它可以被视为用户兴趣的有用表达，以及在使用标记时出现的一些挑战。在“剖析Flickr”一节中，我们详细描述了Flickr及其功能，包括标记搜索功能。在“DataCollections”一节中，我们描述了从Flickr收集的数据集，包括图像搜索结果和用户信息。在“按联系人个性化”和“按标签个性化”小节中，我们分别介绍了通过按联系人和按标签个性化来个性化单个用户搜索结果的两种方法。我们在我们的Flickr数据集上评估每种方法的性能。我们通过讨论结果和未来的工作来进行讨论。用于组织imagesTags的标记是基于关键字的元数据，并与一些内容相关联。标签是用户组织自己内容的一种手段，以方便搜索和浏览相关信息。它因社交书签网站Delicious而普及，该网站允许用户在他们最喜欢的网站上添加描述性标记。近年来，许多其他社交媒体网站都采用了标签，使用户能够为博客(Technorati)、图像(Flickr)、音乐(Last.fm)、科学论文(CiteULike)、视频（YouTube）等添加标签。标签系统的显著特点是使用不受控制的词汇表。这与以前通过正式分类法和分类系统组织信息的尝试形成了鲜明的对比。一个正式的分类系统，例如林奈生物分类，把一个对象放在一个层次结构中的一个独特的位置。因此，老虎（Panthera tigris）是属于Panthera属的食肉哺乳动物，也包括大型猫科动物，如狮子和豹子。老虎也属于猫科，包括小型猫科，如熟悉的猫科家猫。标签是一种非等级和非排他性的分类，这意味着用户可以选择突出标记对象的任何一个方面或属性。根据Golder and Huberman（Golder and Huberman2005)的示例，假设一个用户拍摄了一张西伯利亚虎的图像。最有可能的是，用户不熟悉这种物种的正式名称，会用关键字“老虎”来标记它。根据他的需求心情，用户甚至会用更一般或更特殊的术语来标记它，比如“动物”、“哺乳动物”或“西伯利亚人”。用户还可能注意到这张照片是在“动物园”拍摄的，他使用了他的“长焦”镜头拍摄的。除了根据用于拍摄照片的设备、拍摄图像的地点、描述的动物类型甚至动物的出处将图像强制划分为一个层次或多个层次之外，标签系统允许用户通过在任何标签上配置整个图像集来根据图像的任何属性定位图像。因此，在标签“Tiger”上搜索将返回用户hastaken的所有老虎图像，包括西伯利亚虎和孟加拉虎，而在“西伯利亚”上搜索将返回用户拍摄的西伯利亚动物、人或文物的图像。对“西伯利亚”和“老虎”标签的过滤将返回用这些关键字标记的图像的交叉点，换句话说，西伯利亚老虎的图像。正如Golder和Huberman指出的，当用户试图通过关键字将语义附加到对象时，标记系统容易出现问题。这些问题在社交媒体中加剧，用户可能使用不同的标记约定，但仍然希望利用他人的标记活动。figurrst问题是同音异义，相同的标签可能有不同的含义。例如，“老虎”标签可以应用于哺乳动物或苹果计算机的操作系统。在“老虎”标签上搜索将返回许多与食肉哺乳动物无关的图像，需要用户筛选可能大量的无关内容。

与同音异义有关的另一个问题是一词多义，当一个词有多个相关的意思时，就会产生一词多义，比如“Apple”指的是thecompany或它的任何产品。另一个问题是如何使用同义词：//del.icio.，或具有相同或相关意义的多个词，例如，“婴儿”和“婴儿”这里的问题是，如果用户想要所有年幼儿童在他们生命的第一年的图像，搜索标签“baby”可能不会返回所有相关图像，因为其他用户可能会用“婴儿”标记类似的照片。当然，复数（“老虎”vs“老虎”）和许多其他标记特性（“我儿子”vs“儿子”）也可能会混淆一个标记系统。戈尔德和胡伯曼发现了使用标签进行分类时会出现的另一个问题--“基本级别”。一个给定的项目可以用一系列特定的术语来描述，从特定到一般。西伯利亚虎可以被描述为“老虎”，但也可以被描述为“哺乳动物”和“动物”基本级别是人们在与他人交流时为一个物体选择的类别。因此，对大多数人来说，犬类的基本水平是“狗”，而不是更一般的“动物”或更特殊的“小猎犬”。然而，构成基本水平的差异是个体之间的，在很大程度上取决于专业知识的程度。对于狗专家来说，基本级别可能是更具体的“小猎犬”或“狮子狗”，而不是“狗”。当不同的用户选择在不同的具体级别描述项目时，基本级别的问题就出现了。例如，狗专家将小猎犬的图像标记为“beagle”，而普通用户可能会将类似的图像标记为“dog”。除非用户知道基本级别的变化并在tagsearch中提供更多特定（和更通用）的关键字，否则他可能会错过大量相关的图像。尽管存在这些问题，标签是一个轻量级的、可操作的分类系统。越来越多的taggedimages提供了用户在Flickr上采用标签的证据（Marlow et al.2006)。有人猜测(Mika2005)集体标记将导致一个共同的非正式分类系统，被称为“大众分类法”，将用于组织来自所有用户的所有信息。在标记之上开发增值系统，例如，如何让用户更好地浏览搜索相关项目，只会加快对标记的更广泛接受。FlickrFlickr的解剖学包括一系列相互链接的用户、照片、标记和组页。一个典型的Flickr照片页面显示在Infigure1中。它提供了关于图像的各种信息：谁上传了它，什么时候，它提交给了什么小组，它的标签，谁对图像发表了评论，什么时候，该图像被浏览了多少次或被标记为“收藏”。点击用户的名字会弹出该用户的sphoto流，其中显示了她上传的最新照片，她标记为“收藏”的图像，以及她的Profirele，其中提供了关于该用户的信息，包括她的联系人和她所属小组的列表。点击tagkr会显示用户的图片，这些图片都是用这个关键字标记的，或者所有公共图片都是用类似的标签标记的。最后，group链接会弹出这个组的页面，其中会显示照片组、组成员、流行标签、讨论和其他关于这个组的信息。图1:FlickrGroups上典型的照片页面Flickr允许用户就任何可以想象的主题创建特殊的兴趣组。有用于展示特殊图像的组，用于显示正方形内圆圈图像的组，用于显示Cloorred（以及其他所有颜色和阴影）的组，用于给提交的图像评级的组，或用于生成评论的组。有些组甚至被设置为游戏，比如InfigurniteFlickr，其中的规则是用户发布一张自己看着显示最后一张图像的屏幕的图像（用户看着显示最后一张图像的屏幕的图像，等等）。组中存在冗余和重复。

例如，儿童摄影组包括儿童肖像、Kidpix、Flickr的可爱孩子、行动中的孩子、蹒跚学步的孩子等。用户可以选择一个或多个组提交图像。我们认为，群组名称可以被视为一种公开同意的标签。contacts Flickr允许用户指定他人为友好联系人，并使跟踪他们的活动变得容易。如果点击“联系人”超链接，用户就会从他或她的联系人那里看到最多的图像。追踪离线活动是许多社交媒体网站的一个共同特征，也是它们的主要缺点之一。兴趣Flickr使用“兴趣”标准来评估图像的质量。虽然用来计算这一点的算法是保密的，以防止游戏系统，但某些指标是考虑在内的：“点击量来自哪里；谁对此发表评论，何时发表评论；谁把它标记为最爱；它的标签和其他许多东西都在不断变化。“浏览和搜索Flickr为用户提供了许多浏览和搜索方法。人们可以通过流行的标签，通过Groups目录，通过Explore页面和日历界面进行浏览，该界面提供了在任何一天访问500个最“有趣”的图像的权限。用户还可以通过最近引入的地图界面浏览GeoTagged图像。最后，Flickr允许通过“联系人”界面进行社交浏览，该界面在一个地方显示了用户指定联系人上传的信息。Flickr允许使用全文或TagSearch搜索照片。用户可以将搜索限制在所有公共照片、他或她自己的照片、她标记为她最喜欢的照片或特定联系人的照片上。高级搜索界面目前允许根据内容类型、日期和摄像进行进一步的搜索。默认情况下，搜索结果按上传的时间顺序相反显示，最近的ImageSonTop。另一个可用的选项是根据图像的“有趣”值显示图像，最“有趣”的图像在top.http：//firminickr.com/explore/internated/personalizing搜索结果上。假设一个用户对野生动物摄影感兴趣，并想在Flickr上看到老虎的图像。用户可以搜索所有带有关键字“老虎”标签的公共图像。截至2007年3月，这样的搜索返回超过55500个结果。当图像按其“趣味性”排列时，搜索结果页包含许多老虎的图像，但也包括虎鲨、猫、黄油和鱼。搜索结果的子页面显示，除了老虎之外，还有儿童条纹西装、tiger lily、more cats、Mac OS X（tiger）截图、Gol Figning pictures（tiger Woods）等。换句话说，结果包括许多假阳性，这些图像与用户在执行搜索时的想法无关。我们假设当搜索词模棱两可时，用户的想法与她的兴趣有关。例如，当儿童摄影师在寻找“新生儿”的照片时，她最有可能对人类婴儿的照片感兴趣，而不是小猫、小狗或小鸭子。同样，一个专门从事微距摄影的自然摄影师在搜索关键字“甲虫”时可能对昆虫感兴趣，而不是大众汽车。用户在Flickr上通过多种方式表达了他们的摄影偏好和兴趣。他们通过他们的联系人（他们选择观看的摄影师）、他们上传到Flickr的图像、他们添加到这些图像中的标签、他们加入的小组以及他们标记为自己最喜欢的其他摄影师的图像来表达他们。在本文中，我们证明了我们可以通过利用用户的偏好信息来个性化标签搜索结果。在下面的小节中，我们描述了两种搜索个性化方法：一种依赖于用户创建的标记，另一种利用用户的联系人。

我们展示了这两种方法通过减少返回给用户的假阳性或不相关结果的数量来提高搜索性能。数据收集在展示如何使用用户创建的元数据来个性化标记搜索的结果时，我们使用它们的公共API.data集从Flickr中检索了各种数据。我们通过对Flickr上的所有公共图像执行单个关键字tagsearch来收集图像。我们明确指出，已注册的图像按其“兴趣度”值排序，最感兴趣的图像将被搜索。我们检索了以下每个搜索词的前4500个图像的链接：老虎可能的感官包括(a)大猫（例如，亚洲虎），(b)鲨鱼（虎鲨），(c)Timower（Tiger Lily）,(d)Gol Figurng（Tiger Woods）等。新生儿可能的感官包括(a)人类婴儿，(b)小猫，(c)小狗，(d)小鸭，(e)小马驹等。甲虫可能的感官包括(a)一种昆虫和(b)大众汽车模型对于集中的每个图像，我们使用Flickr的API检索发布图像的用户的名字（图像所有者），以及所有图像的标签和组。查询相关不相关精度Newborn 412 83 0.82 Tiger 337 156 0.67甲虫232 268 0.46表1：标签搜索用户检索的前500幅图像的相关性结果我们的目标是个性化标签搜索结果；因此，为了评估我们的方法，我们需要有用户谁感兴趣的搜索结果正在被裁剪。我们已经发现了四个对eachsearch词的含义感兴趣的用户。对于新生的数据集，这些用户是论文的作者之一，以及该用户社交网络中其他三个对儿童摄影感兴趣的联系人。对于其他数据集，用户来自于那些图片被标签搜索选中的摄影师。我们研究了每个用户的优点，以确保用户对这个术语的意义感兴趣。我们专门查看了组成员和用户的标记。因此，对于老虎数据集，指向用户对底格里斯河虾感兴趣的组是大型猫科动物、动物园、野生动物摄影等。除了组成员资格，指向用户对某个主题感兴趣的标签，例如，对于甲虫数据集，我们假设使用标记nature和macro的用户对昆虫而不是汽车感兴趣。同样，对于新生数据集，上传了他们标记有婴儿和儿童的用户可能对人类新生儿感兴趣。对于12个用户，我们收集了他们的联系人或一级联系人的名字。对于这些联系人中的每一个，我们还检索了他们的联系人列表。这些被召回的2级联系人。除了联系人之外，我们还检索了用户用来注释图像的所有标签及其频率的列表。除了alltags之外，我们还为每个用户提取了一个相关标签列表，这些标签与作为搜索项的标签一起出现在用户照片中。换句话说，supposea用户是一名儿童摄影师，她在自己的照片中使用了“婴儿”、“儿童”、“新生儿”和“肖像”等标签。与newborn相关的标签是在用户自己的图像中与“newborn”标签同时出现的所有标签。这些信息也是通过Flickr的API.search Results提取的。我们手动评估每个数据集中的前500个图像，并将每个图像标记为相关性，如果它与上面列出的搜索词的感觉相关，不相关或未决定，如果评估者不能足够好地理解图像来判断其相关性。在表1中，我们报告了从这些搜索用户的角度判断的500个标记图像中的搜索精度。

精确度被定义为结果集中超过500个检索图像的相关性比率。由于假阳性的存在--图像与用户心中的搜索词不相关。在下面的部分中，我们将展示如何通过考虑联系人和标签提供的关于用户兴趣的补充信息来提高搜索性能。通过contactsFlickr鼓励用户将其他人指定为联系人，通过使用户可以轻松地通过“联系人”界面查看他们提交的最新图像。用户添加联系人的原因很多，包括与朋友和家人保持联系，以及跟踪他们感兴趣的工作的摄影师。我们声称后一个原因是最主要的原因。因此，我们把用户的联系人看作是用户兴趣的表达。在本节中，我们将展示我们可以通过修改用户的联系人来改进搜索结果。为了个性化特定用户的搜索结果，我们只需将标签搜索返回的图像限制为用户的联系人创建的图像。表2显示了每个数据集中500个图像中有多少来自用户的联系人。标记为“#L1”的列给出了用户的1级联系人的数量。下面的列显示了通过firegleting方法标记为无关或不相关的图像的数量，以及相对于每个数据集中的500个图像的精确度和查全率。召回度量相关检索图像相对于数据集中所有相关图像的分数。如表2所示，与表1中的普通搜索结果相比，通过联系人进行搜索可以使大多数用户的标签搜索精度从22%提高到100%以上。对于该集合中的用户来说，获得了最好的性能，大量的相关图像被正确地识别为相关的，而不相关的图像被接纳到结果集中。tiger集对四个用户的平均精度提高了42%，而beetle集提高了85%。提高精度是通过减少假阳性或不相关的图像的数量来实现的，这些图像被搜索方法标记为相关的。不幸的是，这一收益是以召回为代价的：许多相关的图像被这种筛选方法弄错了。为了提高召回率，我们通过考虑两个级别的联系人来扩大联系人集：用户的联系人（级别1）和她的联系人（级别2）。这样做的动机是，如果联系人关系表达了用户之间的共同兴趣，那么用户的兴趣也将与她的联系人的联系人的兴趣相似。表2的后半部分显示了通过用户的1级和2级联系人的组合集对搜索结果进行筛选的性能。该方法虽然也允许更多的不相关图像，但却不能获得更多的相关图像，从而降低了精度。与普通搜索相比，这三种数据集的精度分别提高了9%、16%和11%。tagsIn的个性化除了创建联系人列表之外，用户还通过在Flickr上发布的图像来表达他们的摄影兴趣。我们还不能自动理解图像的内容。相反，我们转向用户添加到图像中的元数据，以提供图像的描述。Themetadata有多种形式：图像标题、描述、其他用户留下的评论、图像所有者添加到其中的标签，以及她提交图像的组。正如我们在文章中所描述的，标签是有用的图像描述符，因为它们被用来对图像进行分类。同样，组名可以被看作是用户一致同意的公共标签。

因此，将一个图像提交到一个组相当于用一个公共标签标记它。在下面的一节中，我们将描述一个概率模型，该模型利用图像的标签和组信息来发现每个搜索集中的潜在主题。用户的兴趣可以类似地用他们用来注释自己图像的标签集合来描述。模型定义我们需要考虑四种类型的实体：一组用户U={U，...，un}，一组图像或photosI={i，...，im}，一组标签T={T，...，to}，以及一组组G={G，...，gp}。由owneruxis发布的一张照片，由一组标签{tx1,tx2,...}描述，并提交给几个组{gx1,gx2,...}。文章可以作为元组<ix,ux,{tx1,tx2,...},{gx1,gx2,...}>查看。我们假设有n个用户，m个张贴的照片和p个群组在Flickr上。同时，标签的词汇量大小为Q。为了对Flickr响应tagsearch检索的图像进行筛选，并为用户u个性化，我们计算传统概率p(iu)，它描述了基于用户u的兴趣，照片i与用户u相关的概率。如前所述，用户根据自己的风格和兴趣从不受控制的词汇表中选择标记。相同主题的图像可以用不同的关键词标记，尽管它们具有相似的含义。同时，同一个关键字可以用来标记不同主题的图像。另外，一个用户经常使用的特定标签对另一个用户可能具有不同的含义。概率模型提供了一种机制来解决标记系统中出现的同义性、多义性和标记稀疏性问题。我们使用概率topicmodel(Rosen-Zvi et al.2004)来建模用户的图像记录行为。在一个典型的概率主题模型中，主题是隐变量，代表知识类别。在我们的例子中，主题等同于图像所有者的利益。一个特定用户发布照片的过程可以描述为一个随机过程:o用户u决定发布一张照片。不是雷尔。Pr Re improv#L2+L2 REL。不是雷尔。Pr Re即兴NewbornUser1 719 232 0 1.00 0.56 22%49,539 349 62 0.85 0.85 4%用户2 154 169 0 1.00 0.41 22%10,970 317 37 0.9 0.77 10%用户3 174 147 0 1.00 0.36 22%13,153 327 39 0.89 0.79 9%用户4 128 132 0 1.00 0.32 22%8,439 310 29 0.91 0.75 11%TigerUser5 63 11 1 0.92 0.03 37%13,142 255 71 0.78 0.76 0.76 16%用户6 103 78 3 0.96 0.23 44%14,425 266 83 0.76 0.79 13%用户7 62 65 1 0.98 0.19 47%7,270 226 60 0.79 0.67 18%44%7,073 240 63 0.79 0.71 18%甲虫9 44518 1 0.95 0.08 106%53,480 215 221 0.49 0.93 7%用户10 364 35 8 0.81 0.15 77%41,568 208 217 0.49 0.90 7%用户11 783 78 25 0.75 0.34 65%62,610 218 227 0.49 0.94 7%用户12 102 7 1 0.88 0.03 90%14,324 163 152 0.52 0.70 13%表2：用户联系人搜索标签的结果。“#L1”表示1级联系人的数量，“#L1+L2”显示1级和2级联系人的数量，随后的列显示该方法的搜索结果：标记为相关或不相关的图像的数量，以及相对于前500个图像的搜索方法的精度和查全率。标记为“improv”的列显示了比普通标记搜索结果在精度上的提高。GUTNTZDNG图2：基于模型的信息搜索的图形表示。U、T、G和Z分别表示变量“user”、“tag”、“group”和“topic”。

ntrepress为一张照片（由photoowner提供）提供标记出现次数；D表示Flickr上所有照片的数量。同时，ngd表示一张特定照片的多个组。o基于用户u的兴趣和照片的主题，选择一组主题z。o然后根据在前一状态中选择的主题集选择标签t。o如果u决定将她的照片暴露给一些组，则根据所选择的主题选择组g。该过程以图2中的图形形式描述。我们不将图像i视为模型中的变量，而是将其视为用户、一组标签和一组组的共同出现。通过上述过程，我们可以表示一个特定照片的用户、标签和组的联合概率asp(i)=p(ui，Ti，Gi)=p(ui)·YNTXKP(zkui)p(tiz)！NI(t)·YNGXKP(zkui)p(giz)！NI(g)。NT和ngis分别是数据集中所有可能的组的数目。同时，ni(t)和ni(g)充当指示函数：如果图像iis标记了标签t，ni(t)=1；否则为0。类似地，如果一个图像i被提交到组g中，ni(g)=1；否则为0。为了估计参数p(zui)、p(tiz)和p(giz)，我们构造了一个对数似然L，该对数似然L度量了估计的参数与观测数据的关系。根据theEM算法（Dempster et al.1977)，将L作为非目标函数来估计所有参数。在期望步骤（E-步骤）中，隐变量Z的联合概率由以下方程计算:p(zt，u)→p(zu)·p(tz)(1)p(zg，u)→p(zu)·p(gz)。(2)L不容易最大化，因为隐变量Z上的和出现在对数内。相反，我们用隐变量E[Lc]最大化期望完全数据对数似然，它被定义为ase[Lc]=Xilog(p(u))+XixTni(t)·xzp(zu，t)(log(p(zu)·t))+XixGni(g)·xzp(zu，g)(log(p(zg)·g))由于termPilog(p(ui)）与参数无关，可以直接从观测数据中计算出来，所以我们从期望完全数据对数似然中去掉了这个项。通过对所有参数的归一化约束，拉格朗日乘子τ，ρ，φ被添加到预期日志的可能性中，得到如下公式H=E[Lc]+xzτz1-xtp(tz)！+xzρz1-xgp(gz)！+xu'Au1-xzp(zu)！p(gzk),和p(zku),然后消除拉格朗日乘子，得到以下最大化步骤的方程:p(tz)∞xmni(t)·p(zt，u)(3)p(gz)∞xmni(g)·p(zg，u)(4)p(zkum)∞xmxtnm(t)·p(zkum，t)(5)+xgnm(g)·p(zkum，g).算法在E和M步之间迭代，直到所有参数值的对数似然收敛。基于模型的个性化我们可以使用前一节开发的模型来筛选与特定用户兴趣最相关的图像i。我们从数据中学习模型的参数，并用这些参数计算条件概率p(Iu\')。这个概率可以分解为:P(Iu\')=XZP(ui)，Ti，Giz)·p(ZU\')，（6）凡UII是数据集中图像i的拥有者，和天加雷，分别是图像I的所有标记和组的集合。方程6中的前一项可以进一步分解为p(ui)，Ti,Giz)_p(Tiz)·(Giz)·(zui)·p(ui)=qtip(Tiz)·qgip(Giz)·p(zui)·p(ui)。我们可以使用学习到的参数直接计算这个项。我们将用户u\'的兴趣表示为u\'过去用于标记自己图像的标签的集合。这些信息用于近似p(zu\'):p(zu\')_xtn(t\'=t)·p(zt)，其中n(t\'=t)是u\'使用的标签t\'的频率（或权重）。

这里我们看到n(t\'=t)与p(t\'u\')成正比。注意，我们可以使用U\'在她的光流中应用于图像的所有标记，也可以使用这些标记的子集，例如，只能使用那些与用户图像中的某个标记共同出现的标记。我们将主题的数量调整为十个。然后，我们通过使用学习到的参数和关于选定用户兴趣的信息来计算集合中top500（手动标记）图像的p(IU\')来评估我们的基于模型的个性化框架。有关用户兴趣的信息可以通过（1）在用户光流的所有图像中使用的所有标签（及其频率）或（2）在用户使用搜索关键字（例如“newborn”）标记的图像中出现的相关标签来捕获。p（tz）的计算是参数估计过程的核心，它告诉我们atag t对主题z的贡献有多大。表3显示了tiger数据集每个主题最可能的25个标记。虽然标记“Tiger”主导了大多数主题，但我们可以从出现在每个主题中的其他标记中区分出不同的主题。因此，主题ZI明显是关于家猫的，而主题ZI是关于苹果电脑产品的。同时，主题ZI是关于吸食者和颜色的（“吸食者”、“百合”、“黄色”、“粉色”、“红色”）；话题是关于一些地方的（“洛杉矶”、“圣地亚哥”、“拉斯维加斯”、“斯图加德”），大概是因为这些地方有动物园。ZTock包含了Tiger的科学名称“Pantheratigris”的几个变体。这种方法似乎很好地识别了相关的单词。例如，Topic z给出了同义词“cat”、“kitty”以及更通用的术语“pet”和更特殊的术语“kitten”和“tabby”。它甚至包含了单词的西班牙语版本：“gatto”在未来的工作中，我们计划探索使用这种方法以更抽象的方式对照片进行分类。我们还注意到，相关术语可以通过为查询提供额外的关键字来提高搜索查全率。表4给出了使用来自所有用户标签的信息的情况下基于模型的个性化的结果。给出了不同阈值下的结果。