Gegründet wurde der TSV Selk von Bürgern der Gemeinden Selk, Geltorf und Lottorf im November 1965. Zur Gründungsversammlung zählte der Verein 41 Mitglieder. Auf der Gründungsversammlung wurden vier Riegen geschaffen. Jeweils eine männliche und eine weibliche im Bereich der Senioren und Jugend. Als Sparten wurden Turnen, Gymnastik und Spielbetrieb eingerichtet. Beheimatet war der Verein in der im selben Jahr errichteten Turnhalle der Dörfergemeinschaftsschule Selk.
1972 wurde das Spartenangebot durch Tennis erweitert, dafür wurden auf dem Gelände des heutigen Sport- und Kulturzentrums Selk zwei Tennis-Hartplätze gebaut. Die Tischtennis-Herrenmannschaft erreichte 1974 nach einer positiven 36:0 Bilanz in der Landesliga die Oberliga. Zum Meisterteam gehörten Paul Lemke jun., Helmut Zdara, Rüdiger Stenzel, Bernd Wohlert, Alfred von Dollen, Walter Gründahl, Ulrich Winkler und Wolfgang Mohr, Abteilungsleiter und Sponsor war Paul Lemke jun. Nach Platz zwei und vier wurde sie in der Oberliga 1976/77 Erster, verfehlte aber den Aufstieg. Ein Jahr später setzte sie sich in den Aufstiegsspielen zur Bundesliga durch. In der Bundesliga blieb sie 1978/79 jedoch ohne Sieg und stieg direkt ab. Im Folgejahr wurde sie erneut Oberligameister, allerdings scheiterten Jaroslav Kunz, Alfred von Dollen, Bernd Wohlert, Ulrich Winkler, Dr. Reinhard Lahme und Uwe Greve in der Aufstiegsrunde.
1977 gab es folgende Sparten im Verein: Tischtennis, Basketball, Frauenturnen, Kinderturnen, Fußball und Tennis. In diesem Jahr hatte der Verein 339 aktive Mitglieder. Im selben Jahr wurden zwei Fußballplätze hinter der Turnhalle gebaut, diese wurden im September 1978 mit einem Festprogramm eingeweiht. Teil dieses Festprogramms war unter anderem ein Freundschaftsspiel der Herrenmannschaften des TSV Selk, die zu der Zeit in der Bezirksklasse spielten und den Schleswig 06, die in der Verbandsligaspielten. Eröffnet wurde dieses Einweihungsspiel durch einen Fallschirmsprungs des ersten Vorsitzenden Dr. Erhard Bohlman, der den Spielball damit auf dem Anstoßpunkt platzierte.
Bei den Deutschen Pokalmeisterschaften spielten die Selker Tischtennisherren 1977, 1978 und 1979 im Halbfinale.
Anfang der 80er Jahre löste man die Tischtennis-Herrenmannschaft auf., die zu der Zeit noch in der Regionalliga spielte. 1983 wurden die Tennisplätze von Hartplätzen in Weichplätze umgewandelt. 1991 kam ein weiterer Tennisweichplatz hinzu. 1993 wurde ein Jugend- und Sportlerheim auf dem Tennisgelände errichtet und die Sporthalle renoviert. Im darauffolgenden Jahr konnte der TSV Selk erstmals über 400 aktive Mitglieder registrieren.
Anfang der 2000er schloss sich die Fußballsparte des TSV Selk mit den Sparten des TSV Doppeleiche Jagel und TuS Busdorf zusammen zum FC Haddeby. 2004 kamen die Fußballer des TSV Fahrdorf hinzu. Seitdem trägt der Amtsfußballverein den Namen FC Haddeby 04. Dessen größter Erfolg war die Meisterschaft der Verbandsliga Nordwest (VI), dies allerdings als SG Sylt/Haddeby.
2013 wurde für die seit 2011 bestehende Bogenschießsparte neben den Tennisplätzen eine eigene Anlage gebaut. Diese trägt als Ehrung für die Verdienste um die neu geschaffene Bogensparte, sowie der Verdienste um den ganzen Verein den Namen des aktuellen ersten Vorsitzenden Udo Assall („Udo-Assall-Bogenschießpark“). Im selben Jahr haben sich die Jugendlichen des Vereins unter dem Namen „Haddeby macht ZELTLAGER!“, als Jugendabteilung dem Verein angeschlossen.