Inhalt des Seminars

Die wachsende Menge von Videodaten aus einer großen Bandbreite wissenschaftlicher Disziplinen und Anwendungen macht es dem Menschen unmöglich, alle Daten manuell zu analysieren und  zu kommentieren. Einige Beispielanwendungen umfassen sportliche Aktivitäten, öffentliche und private Sicherheit, Studien über das Verhalten von Tieren, medizinische und häusliche Pflege für Ältere, etc.

Ausgehend von dieser Problematik entsteht der Bedarf nach der Entwicklung 1) von Schemata für Verhalten und Aktivität und 2) von Techniken für die Bildanalyse, die das auf Videosequenzen aufgezeichnete Verhalten eines Tieres deuten können.

Schwerpunkte dieses Seminars werden sowohl die Darstellung des Verhaltens von Tier und Mensch als auch relevante Techniken der Bildanalyse sein. Außerdem werden die Anwendungen der entwickelten Systeme behandelt.

Das Seminar richtet sich an Studierende ab dem 5. Semester der Fachrichtungen Informatik, Mathematik, Elektrotechnik und Physik sowie an alle, die sich für das Thema "Maschinelles Sehen" interessieren.

Weitere Informationen und Anmeldung bei Prof. Thomas C. Henderson, Neuer Infobau (Geb. 50.34), Raum 230 oder unter der email-adresse: tch@cs.utah.edu

Seminarschein

Zum Erwerb des Seminarscheines müssen folgende Leistungen erbracht werden:

• Vortrag,
• schriftliche Ausarbeitung
• und Anwesenheit bei allen Vortragsterminen.

Im Vortrag und in der Ausarbeitung soll gezielt auf ein Thema eingegangen werden. Als Material stellen wir hierzu z. B. Artikel aus Zeitschriften oder Passagen aus Büchern zur Verfügung. (s. Beispiel.) Die Vergabe der Themen erfolgt bei der Vorbesprechung.

Hinweise zum Vortrag

Mit einer Präsentation soll den anderen Seminarteilnehmern das eigene Thema vermittelt werden (s. Beispiel.). Hierzu können Multimedia- oder Folienpräsentationen erstellt werden. Beamer bzw. OHP (sowie Tafel) stehen im Seminarraum zur Verfügung. Jeder Vortrag dauert 20 min und umfasst in der Regel 8-10 Folien. There will be a 5 minute discussion after the report.

Falls benötigt, stellen wir für die Präsentation einen Laptop zur Verfügung. In diesem Fall müssen die Folien als PowerPoint-Datei (Vorsicht bei Export aus anderen Präsentationsprogrammen) spätestens 1 Tag vor dem Vortragstermin bei uns vorliegen. Das Seminar wird Anfang Dezember als Blockseminar gehalten.

Wichtiger Hinweis

• Für ein gutes Gelingen des Vortrages empfehlen wir dringend, uns die Folien rechtzeitig vor dem Vortrag vorzustellen. Gerne geben wir auch Tipps zur Erstellung der Folien.

Hinweise zur Ausarbeitung

Mit der schriftlichen Ausarbeitung sollen die Inhalte des ausgegebenen Materials in eigenen Worten wiedergegeben werden. Reine Übersetzungen der Materialien werden nicht akzeptiert. Ergänzungen in Form von Sekundärliteratur und eigenen Materialien sind jederzeit willkommen.

Zur Erstellung der Ausarbeitung soll LaTeX mit folgendem Style verwendet werden:

• LaTeX-Rahmen-Files.

Die Ausarbeitung soll im vorgegebenen Style einen Umfang von 15-20 Seiten (incl. aller Formeln und Bildern) haben.

Anmerkungen zu LaTeX

• Die freien Softwarepakete für LaTeX gibt es auf der Website http://www.dante.de/ bzw. auf dem darunter verwiesenen FTP-Server CTAN (insb. unter ftp://ftp.dante.de/tex-archive/systems/).
  Anmerkung: Für Linux-Benutzer eignet sich dabei auch die teTeX-Variante (bei vielen Linux-Distributionen bereits enthalten), für Windows-Benutzer bietet sich u. a. die MiKTeX-Version an.
• Zum besseren Einfinden in LaTeX stellen wir zudem eine LaTeX-Kurzbeschreibung als pdf-Dokument zur Verfügung, die auch unter der FTP-Adresse ftp://dante.ctan.org/tex-archive/info/lshort/german/ zu finden ist.

Vortragstermine

• Die Termine und die jeweiligen Themen werden hier nach der Vorbesprechung bekannt gegeben. Nach jedem Vortrag gibt es eine 5 minutige Diskussion in der zum einen Fragen ueber den Inhalt des Vortrags gestellt werden und zum anderen auch Anregungen und Kritik zum Vortragsstil gegeben werden koennen. An evaluation sheet must be turned in by each student for every other student's oral report (s. Feedback).  

Prerequisites

Useful prerequisites include some knowledge of computer vision techniques and artificial intelligence representations.
 

Course Description

(www.cs.utah.edu/~tch/classes/karlsruhe/myseminar.htm)

The lecture at the first meeting will be in English (see lecture.) , but students will be able to present in German or English; I will provide detailed feedback to students on their technical English presentations.

The areas of interest include: biotracking (e.g., Balch at Georgia Tech), traffic analysis, face and gesture behavior analysis, lab animal behavior analysis, methods of behavior representation (semantic nets, Bayesian nets, Markov models - as they apply to behavior tracking), and computer vision techniques which are important in vision-based behavior analysis (e.g., motion analysis, feature extraction, etc. - again, not generic vision techniques, but as they apply to behavior analysis).

The basic requirement will be to read a paper or set of materials and report on them to the class; this will be individually arranged with me. Also, if anybody is interested in hacking some code, that would be possible, too.  Students are also required to turn in a written report before their oral report, as well as to participate when other students present their reports and give an evaluation of each.

Schedule of Events

20 October 2003:  14:00 Preliminary Meeting; discussion of topics, requirements, and materials

21 October 2003:  Must have agreed upon topic; if not, a topic will be assigned.

mid-November 2003:  meeting to discuss issues related to writing report; example report will be given.

first 2 weeks December 2003:  Block seminar reports  (time and place to be arranged)

Instructor

Thomas C. Henderson, Professor

E-Mail:   tch@cs.utah.edu

Phone:   608-4025
Office Hours:  By appointment.

Teaching Associates

Stefan Vacek:   vacek@ira.uka.de      (IAIM; phone: 608-8488)

Matthias Hahn: hahn@ira.uka.de         (IAKS; phone: 608-4325) 
 

Materials

Some interesting web sites:

Web Sites of Interest in Behavior tracking

1. http://www.cc.gatech.edu/~borg/biotracking/

2. http://academic.csuohio.edu/kneuendorf/content/cpuca/avap.htm

3. http://www-white.media.mit.edu/tech-reports/TR-507/node97.html

4. http://iris.usc.edu/Vision-Notes/bibliography/motion-f714.html

5. http://web.media.mit.edu/~intille/

6. http://www.noldus.com/events/mb2000/program/authors.html

7. http://iris.usc.edu/Vision-Notes/bibliography/motion-f718.html#Surveillance%20Systems%20for%20Human%20Activity

8. http://isl.ira.uka.de/mie/

9. http://sciwebserver.science.mcmaster.ca/psychology/psych1a6/1aa3/anbehavmenu.htm

Survey Articles:

    "A Survey of Computer Vision-Based Human Motion Capture"

        http://citeseer.nj.nec.com/cache/papers/cs/22029/http:zSzzSzligwww.epfl.chzSz~fuazSzpaperszSzcviuzSzmoeslund.pdf/moeslund01survey.pdf

    "The Visual Analysis of Human Movement: A Survey"

    http://citeseer.nj.nec.com/cache/papers/cs/21565/http:zSzzSzwww.dai.ed.ac.ukzSzCVonlinezSzLOCAL_COPIESzSzGAVRILAzSzcviu99.pdf/gavrila99visual.pdf

    "Recent Developments in Human Motion Analysis"

    http://www.sinobiometrics.com/publications/liang%20wang/PR%20.pdf

1. Animal Tracking

    

   1. Ants

          "Automatically Tracking and Analyzing the Behavior of Live Insect Colonies"

          http://www.cs.cmu.edu/~trb/papers/agents01ants.pdf

          "Efficient Particle Filter-Based Tracking of Multiple Interacting Targets using an MRF-based Motion Model"

          http://www.cc.gatech.edu/~borg/biotracking/iros03.pdf

       

   2. Poultry

          "Development of Machine Vision based Poultry Behavior Analysis System"

          http://udel.edu/~ebenson/Journal_Articles/Benson_ASAE_2003_Poultry_Behavior.pdf

          "Computer Visual Tracking of Poultry"

          http://citeseer.nj.nec.com/cache/papers/cs/25781/ftp:zSzzSzftp.scs.leeds.ac.ukzSzscszSzdoczSzreportszSz1998zSz98_02.pdf/sergeant98computer.pdf

       

   3. Rodents

          "Robust Tracking and Posture Descriptions for Laboratory Rodents using Active Shape Models"

          paper copy

          "Classifying Postures of Freely Moving Rodents with the help of Fourier Descriptors and a Neural Net"

          paper

          "Classification of Rat Behavior with an Image Processing Method and a Neural Network"

          http://www.noldus.com/events/mb98/abstracts/rousseau1.htm (poster), and paper

       

2. Human Gesture Tracking

       "Hand Modeling, Analysis, and Recognition"

       www.ece.northwestern.edu/~yingwu/papers/IEEE_MSP.pdf

       "Learning Visual Behavior for Gesture Analysis"

       http://citeseer.nj.nec.com/cache/papers/cs/405/ftp:zSzzSzwhitechapel.media.mit.eduzSzpubzSztech-reportszSzTR-337.pdf/wilson95learning.pdf

       "Using Gesture and Speech Control for Commanding a Robot Assistant"

       http://www.morpha.de/download/publications/86_ROMAN2002_IAIM.pdf

    

3. Human Facial Tracking

       "Comprehensive Database for Facial Expression Analysis"

       http://citeseer.nj.nec.com/cache/papers/cs/12984/http:zSzzSzwww.ri.cmu.eduzSzpub_fileszSzpub2zSzkanade_takeo_2000_1zSzkanade_takeo_2000_1.pdf/kanade00comprehensive.pdf

       "Automatic Recognition of Eye Blinking in Spontaneously Occurring Behavior"

       http://www-2.cs.cmu.edu/~face/Papers/icpr2002.pdf

    

4. Human Physical Performance Tracking and Learning

       "Using Humanoid Robots to Study Human Behavior"

       http://citeseer.nj.nec.com/cache/papers/cs/18473/http:zSzzSzwww-slab.usc.eduzSzsethuzSzpublicationszSzIntellSys00.pdf/atkeson00using.pdf

       "How Can a Robot Learn from Watching a Human (ref 11 of previous paper)"

       ftp://ftp.cc.gatech.edu/pub/people/cga/lfd.html

       "Acquisition of Elementary Robot Skills from Human Demonstration"

       http://citeseer.nj.nec.com/cache/papers/cs/956/ftp:zSzzSzftpipr.ira.uka.dezSzpubzSzpaperszSz1995zSzsirs95rd.pdf/dillmann95acquisition.pdf

       "Humanoid Robot Learning and Game Playing using PC-Based Vision"

       http://www.his.atr.co.jp/~dbent/Docs/dbent_iros02.pdf

    

5. Human High-Level (office, imitative, pedestrians)

    

   1. Social Interactions

          "The Use of Video Analysis Software in Behavior Observation Research: Interaction Patterns in Task-Oriented Small Groups"

          http://www.qualitative-research.net/fqs-texte/2-02/2-02kochzumbach-e.pdf

          "Computer-Aided Method for Calculating Animal Configurations during Social Interactions from 2D Coordinates of Color-Marked Body Parts"

      paper

       

   2. Observation Models in Tracking

          "Towards Improved Observation Models for Visual Tracking: Selective Adaptation"

          www.sigproc.eng.cam.ac.uk/~jv211/papers/eccv_02.pdf

          "Probabilistic Tracking in a Metric Space"

         http://research.microsoft.com/vision/papers/ICCV2001ToyamaBlake/ ICCV2001ToyamaBlakeColor.pdf

       

   3. Imitative Learning

          "Statistical Imitative Learning from Perceptual Data"

          www.cs.columbia.edu/~jebara/papers/icdl.pdf

          "A Study on Modeling of Human Spatial Behavior Using Agent"

          www.gisdevelopment.net/aars/acrs/2002/pos2/243.pdf

       

   4. Waibel

                "Towards Monitoring Human Activities using an Omnidirectional Camera"

                http://isl.ira.uka.de/mie/

                "Towards Vision-based 3-D People Tracking in a Smart Room"

                http://isl.ira.uka.de/mie/

    

6. Tools for studying behavior

    

   1. Nagel

          "Behavioral Knowledge Representation for the Understanding and Creation of Video Sequences"

          http://cogvisys.iaks.uni-karlsruhe.de/publications/ma_hhn_KI2003.pdf

          "Unscharfe Zeitlogische Modellierung"

          paper (library)

          "Deriving Textual Descriptions of Road Traffic Queues from Video Sequences"

          http://cogvisys.iaks.uni-karlsruhe.de/publications/rg_hhn_hs_ECAI2002.pdf

          "SGT Editor"

          http://cogvisys.iaks.uni-karlsruhe.de/Vid-Text/sgt_editor/index.html

       

   2. Ethovision

       "Ethovision: A Versatile Video Tracking System for Automation of Behavioral Experiments"

       http://www.noldus.com/database/biblio/publications/brmic_33_398.pdf

       "Analyzing Complex Real-Time Streams of Behavior: Repeated Patterns in Behavior and DNA"

       http://www.hi.is/~msm/PDF/BehaviorDNA.pdf

       "Temporal Video Segmentation: A Survey"

       paper

   3. Natural Settings

            "Tools for Studying Behavior and Technology in Natural Settings"

            http://web.media.mit.edu/~intille/papers-files/IntilleTapiaRondoniETAL03.pdf

          4. Video Segmentation

            "Analysis and Synthesis of Textured Motion"

            http://www.cs.ucla.edu/~wangyz/Research/papers/Textured_motion.pdf

    7.   Other systems (roads, crowds)

1. Roads

   "A Machine Vision Based Surveillance System for California Roads"

   http://citeseer.nj.nec.com/cache/papers/cs/3273/http:zSzzSzrobotics.eecs.berkeley.eduzSz~jweberzSzPaperszSzMOU83-final.pdf/a-machine-vision-based.pdf

    

2. Crowds

   "A Model of Human Crowd Behavior: Group Inter-Relationship and Collision Detection Analysis"

   http://ligwww.epfl.ch/~thalmann/papers.dir/crowds.pdf

   "Turning to the Masters: Motion Capturing Cartoons"

   http://graphics.stanford.edu/projects/tooncap/tooncap.pdf

    

3. Pedestrians

   "Vision-based Pedestrian Detection: will Ants Help?"

   http://www.engin.umd.umich.edu/vi/publications/broggi/Broogi_Vision-based%20Pedestrian%20Detection_ants.pdf

   "Vision-Based Human Tracking and Activity Recognition"

   http://mha.cs.umn.edu/Papers/Vision_Tracking_Recognition.pdf

Last modified: Thur Oct 16 14:01:47 MEST 2003